CN112257567B - 行为识别网络的训练、行为识别方法及相关设备 - Google Patents

行为识别网络的训练、行为识别方法及相关设备 Download PDF

Info

Publication number
CN112257567B
CN112257567B CN202011128229.5A CN202011128229A CN112257567B CN 112257567 B CN112257567 B CN 112257567B CN 202011128229 A CN202011128229 A CN 202011128229A CN 112257567 B CN112257567 B CN 112257567B
Authority
CN
China
Prior art keywords
video frame
loss
frame sequence
behavior recognition
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011128229.5A
Other languages
English (en)
Other versions
CN112257567A (zh
Inventor
潘国雄
魏乃科
潘华东
殷俊
赵雷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202011128229.5A priority Critical patent/CN112257567B/zh
Publication of CN112257567A publication Critical patent/CN112257567A/zh
Application granted granted Critical
Publication of CN112257567B publication Critical patent/CN112257567B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种行为识别网络的训练方法、恶意行为识别方法、电子设备及存储介质。该训练方法包括：获取第一视频帧序列，第一视频帧序列包括多个第一视频帧；利用行为识别网络提取第一视频帧序列的第一特征，利用关键点检测网络提取第一视频帧序列的第二特征；基于第一特征和第二特征，获取行为识别网络的损失；基于损失调整行为识别网络的参数。通过上述方式，能够提高行为识别网络的行为识别准确率。

Description

行为识别网络的训练、行为识别方法及相关设备
技术领域
本申请涉及图像处理领域，特别是涉及一种行为识别网络的训练方法、恶意行为识别方法、电子设备及存储介质。
背景技术
行为识别在监控领域扮演着重要的角色。在现有的监控***中，大部分都是通过监控人员来对监控设备获取到的视频帧序列中的目标(活体，例如人体)进行行为识别(人工进行行为识别)，也即由监控人员来观察监控设备获取的视频帧序列，以确定视频帧序列中是否存在异常/恶意行为，以对恶意行为作出反应。然而，这种人工进行行为识别的方式往往不能及时地发现恶意行为，而且这种方式既费时又费力。
近年来，随着深度学习技术的不断发展，越来越多的深度学习算法应用于对视频帧序列中的目标进行行为分析，例如two-stream(双流)方法、3D方法、CNN-LSTM方法以及人体关节点姿态识别等方法。
以目标为人体进行说明，通过深度学习算法对视频帧序列中人体行为进行识别，得到识别结果，识别结果可以用于反映视频帧序列中是否存在恶意行为。然而现有的基于深度学习的方法获取到的行为识别结果不够准确。
发明内容
本申请提供一种行为识别网络的训练方法、恶意行为识别方法、电子设备及存储介质，能够解决现有的基于深度学习的方法获取到的行为识别结果不够准确的问题。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种交通事故检测方法。该方法包括：获取第一视频帧序列，第一视频帧序列包括多个第一视频帧；利用行为识别网络提取第一视频帧序列的第一特征，利用关键点检测网络提取第一视频帧序列的第二特征；基于第一特征和第二特征，获取行为识别网络的损失；基于损失调整所述行为识别网络的参数。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种恶意行为识别方法，该方法包括：利用光流算法获取第二视频帧序列的光流信息；基于光流信息判断第二视频帧序列中是否存在目标。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种电子设备，该电子设备包括处理器、与处理器连接的存储器，其中，存储器存储有程序指令；处理器用于执行存储器存储的程序指令以实现上述方法。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种存储介质，存储有程序指令，该程序指令被执行时能够实现上述方法。
通过上述方式，本申请引入了关键点检测网络来对行为识别网络进行辅助训练，也即在获取行为识别网络的损失的过程中考虑了关键点检测网络提取到的第一视频帧序列的第二特征，第二特征代表第一视频帧中目标区域，因此能够使得训练得到的行为识别网络更加关注第一视频帧序列中的目标区域，使得训练得到的行为识别网络后续对行为的识别更加准确。
附图说明
图1是本申请行为识别网络的训练方法一实施例的流程示意图；
图2是图1中S11的具体流程示意图；
图3是图2中S112的具体流程示意图；
图4是图3中S1122的具体流程示意图；
图5是图1中S13的一具体流程示意图；
图6是图1中S13的另一具体流程示意图；
图7是图1中S14的具体流程示意图；
图8是本申请行为识别网络的训练结构示意图；
图9是本申请恶意行为识别方法一实施例的流程示意图；
图10是本申请行为识别网络一结构示意图；
图11是本申请电子设备一实施例的结构示意图；
图12是本申请存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，在不冲突的情况下，本文所描述的实施例可以与其它实施例相结合。
图1是本申请行为识别网络的训练方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图1所示的流程顺序为限。如图1所示，本实施例可以包括：
S11：获取第一视频帧序列。
第一视频帧序列包括多个第一视频帧。
可以基于摄像器件获取第二视频帧序列，第二视频帧序列中可以包括多个第二视频帧，将第二视频帧中的目标区域作为对应的第一视频帧。结合图2进行详细说明，参阅图2，S11可以包括以下子步骤：
S111：获取第二视频帧序列。
第二视频帧序列可以通过摄像器件获取得到。摄像器件可以为具有摄像功能的终端，例如摄像头、带有摄像头的终端(如手机、电脑)等。
第二视频帧序列可以为摄像器件直接获取到的视频帧序列(或视频帧子序列)。为简化描述，本申请后文将摄像器件直接获取到的视频帧序列(或视频帧子序列)称为第三视频帧序列。
第二视频帧序列也可以为对第三视频帧序列进行采样得到的，也即从第三视频帧序列中抽取一部分组成第二视频帧序列。具体而言，第三视频帧序列中可以包括多个第三视频帧和第二视频帧，相邻的两个第二视频帧之间包括预设数量个第三视频帧，第二视频帧组成第二视频帧序列。举例说明，相邻的两个第二视频帧之间包括一个第三视频帧，则可以对第三视频帧序列进行隔帧采样得到第二视频帧序列。
可以理解的是，第三视频帧序列中出现恶意行为的时间点是不确定的，也就是说由第三视频帧序列中可能存在很多无效的视频帧。因此，从第三视频帧序列中抽取一部分视频帧组成第二视频帧序列的方式，能够减少后续对第二视频帧序列处理所需耗费的时间。
S112：判断第二视频帧序列中是否存在目标。
若存在，则执行S113。
本申请所指目标可以为人体，也可以为其他活体。本申请后文以目标为人体进行说明。
可以通过第二视频帧序列的光流信息来判断第二视频帧序列中是否存在目标。当然，也可以通过其他方式来判断第二视频帧序列中是否存在目标，在此不作具体限定。下面结合图3，以通过第二视频帧序列的光流信息来判断第二视频帧序列中是否存在目标进行说明。参阅图3，S112可以包括以下子步骤：
S1121：利用光流算法获取第二视频帧序列的光流信息。
光流信息可以理解为目标的运动映射到第二视频帧中像素的瞬时速度，其可以用于反映第二视频帧序列中像素的运动情况。可以利用光流算法分别获取第二视频帧中各第二视频帧对应的光流信息。其中，光流算法可以为HS算法、LK算法、Weickert算法等。
S1122：基于光流信息判断第二视频帧序列中是否存在目标。
第二视频帧序列包括的第二视频帧对应的光流信息之间的变化情况可以用于反映像素的运动情况，像素的运动情况可以用于反映第二视频帧序列中是否存在目标。参阅图4，S1122可以包括以下子步骤：
S11221：基于光流信息判断第二视频帧序列中是否存在运动区域。
其中，在第二视频帧序列中的运动情况满足预设条件(如运动较剧烈)的情况下，意味着第二视频帧序列中存在运动区域。
若存在，则执行S11222。
S11222：利用目标检测算法判断运动区域是否存在目标。
S113：分别获取各第二视频帧中的目标区域。
目标区域包括第二视频帧中的所有目标所在区域。
第二视频帧中的目标所在区域可以为目标在第二视频帧中的位置对应的区域。其中，可以通过目标跟踪算法获取各目标在不同第二视频帧中的位置。第二视频帧中的所有目标所在区域可以为第二视频帧中所有目标所在区域的最小外接矩形区域。
S114：将第二视频帧中的目标区域作为对应的第一视频帧。
各第二视频帧中的目标区域对应的第一视频帧，组成第一视频帧序列。
S12：利用行为识别网络提取第一视频帧序列的第一特征，利用关键点检测网络提取第一视频帧序列的第二特征。
第一视频帧序列的第一特征可以包括第一视频帧序列中各第一视频帧的第一特征，第一视频帧序列的第一特征具体可以表示为各第一视频帧的第一特征组成的特征矩阵。第一特征可以为行为识别网络提取的用于对第一视频帧序列分类的特征。
同样地，第一视频帧序列的第二特征可以包括第一视频帧序列中各第一视频帧的第二特征，第一视频帧序列的第二特征具体可以表示为各第一视频帧的第二特征组成的特征矩阵。第二特征可以为关键点检测网络提取的用于表示第一视频帧中目标区域的特征。
S13：基于第一特征和第二特征，获取行为识别网络的损失。
在一具体实施方式中，行为识别网络的损失可以包括第一损失。参阅图5，在此情况下，S13可以包括以下子步骤：
S131：对第一特征进行预设处理，得到第三特征。
第三特征和第二特征的维度相同。
相较于第一特征与第二特征之间的距离，第三特征与第二特征之间的距离更加接近。第三特征可能与第一特征的维度相同，也可能与第一特征的维度不相同。在第一特征与第三特征维度不相同的情况下，该预设处理可以为上/下采样处理。在第一特征与第三特征维度相同的情况下，该预设处理可以为除上/下采样处理之外的其他形式的处理。
S132：基于第二特征和第三特征之间的差异，获取行为识别网络的第一损失。
可以计算第二特征和第三特征之间的距离(例如L2范数)作为第一损失。
在另一具体实施方式中，行为识别网络的损失可以包括第一损失和第二损失。参阅图6，在此情况下，S13还可以包括以下子步骤：
S133：利用行为识别网络基于第一特征对第一视频帧序列识别，得到第一识别结果。
第一识别结果可以用于反映第一视频帧序列中是否存在恶意行为。具体而言，第一识别结果可以为第一视频帧序列中存在恶意行为的概率和不存在恶意行为的概率。若存在恶意行为的概率大于不存在恶意行为的概率，则意味着第一视频帧序列中存在恶意行为；否则意味着第一视频帧序列中不存在恶意行为。
S134：基于第一识别结果和真实结果之间的差异，获取行为识别网络的第二损失。
S14：基于损失调整行为识别网络的参数。
可以仅基于第一损失调整行为识别网络的参数，也可以基于第一损失和第二损失调整行为识别网络的参数。以基于第一损失和第二损失调整行为识别网络的参数为例进行说明。参阅图7，S14可以包括以下子步骤：
S141：利用自适应网络对第一损失和第二损失进行加权处理，得到第三损失。
S142：基于第三损失调整行为识别网络和自适应网络的参数。
其中，基于第三损失调整自适应网络的参数，可以优化自适应网络对第一损失和第二损失加权所依据的权重。
通过上述实施例的实施，本申请引入了关键点检测网络来对行为识别网络进行辅助训练，也即在获取行为识别网络的损失的过程中考虑了关键点检测网络提取到的第一视频帧序列的第二特征，第二特征代表第一视频帧中目标区域，因此能够使得训练得到的行为识别网络更加关注第一视频帧序列中的目标区域，使得后续对行为的识别更加准确。
下面结合图8，以一个例子的形式对上述行为识别网络的训练方法进行说明。
通过监控设备获取到第三视频帧序列D＝(a1,a2,…,a32)；对第三视频帧序列进行隔帧采样得到第二视频帧序列F＝(a1,a3,…,a31)；提取F的光流信息，基于F的光流信息判断F是否存在运动区域；在存在运动区域的情况下，通过目标检测算法检测运动区域是否存在人体；在存在人体的情况下，通过目标跟踪算法获取F中各第二视频帧中的目标区域，并将第二视频帧中的目标区域作为对应的第一视频帧(a1对应b1，a3对应b3，a31对应b31)，从而得到第一视频帧组成的第一视频帧序列M＝(b1,b3,…,b31)。
将M分别输入行为识别网络和关键点检测网络，行为识别网络包括的3D卷积神经网络提取M的第一特征，关键点检测网络提取M的第二特征。对第一特征进行上采样处理得当第三特征，基于第三特征和第二特征获取行为识别网络的第一损失；并依次利用行为识别网络的全局平均池化层、全连接层对第一特征进行处理，以得到第一识别结果，基于第一识别结果和真实结果获取行为识别网络的第二损失。利用自适应网络对第一损失和第二损失进行加权处理，得到第三损失，基于第三损失调整行为识别网络和自适应网络的参数。
图9是本申请恶意行为识别方法一实施例的流程示意图。需注意的是，若有实质上相同的结果，本实施例并不以图9所示的流程顺序为限。如图9所示，本实施例可以包括：
S21：获取第四视频帧序列。
第四视频帧序列包括多个第四视频帧。
第四视频帧序列的获取方式可以与前面提及的第一视频帧序列的获取方式相同。第四视频帧序列的获取方式也可以与前面提及的第一视频帧序列的获取方式不同。例如，可以直接将摄像器件获取到的视频帧序列作为第四视频帧序列，以减少在实际使用过程中第四视频帧序列获取所需耗费的时间。
S22：利用行为识别网络对第四视频帧序列进行识别，得到第二识别结果。
行为识别网络包括但不限于为通过前面实施例提供的方法训练得到的。
为提高得到的第二识别结果的辨识性，区别于通过前面实施例提供的方法训练得到的行为识别网络，在对第四视频帧序列进行恶意行为识别的阶段，行为识别网络还可以包括归一化层(softmax层)，以对经全连接层处理得到的结果进行归一化处理。
下面结合图10，以一个例子的形式对本申请提供的恶意行为识别方法进行说明。如图10所示，行为识别网络包括3D卷积神经网络、全局平均池化层、全连接层和softmax层。将第四视频帧序列输入行为识别网络，行为识别网络可以依次利用3D卷积神经网络、全局平均池化层、全连接层和softmax层对第四视频帧序列进行处理，以得到第二识别结果。
图11是本申请电子设备一实施例的结构示意图。如图11所示，该电子设备包括处理器31、与处理器耦接的存储器32。
其中，存储器32存储有用于实现上述任一实施例的方法的程序指令；处理器31用于执行存储器32存储的程序指令以实现上述方法实施例的步骤。其中，处理器31还可以称为CPU(Central Processing Unit，中央处理单元)。处理器31可能是一种集成电路芯片，具有信号的处理能力。处理器31还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
图12是本申请存储介质一实施例的结构示意图。如图12所示，本申请实施例的计算机可读存储介质40存储有程序指令41，该程序指令41被执行时实现本申请上述实施例提供的方法。其中，该程序指令41可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质40中，以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质40包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质，或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中，应该理解到，所揭露的***，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种行为识别网络的训练方法，其特征在于，包括：
获取第一视频帧序列，所述第一视频帧序列包括多个第一视频帧；
利用所述行为识别网络提取所述第一视频帧序列的第一特征，利用关键点检测网络提取所述第一视频帧序列的第二特征；
基于所述第一特征和所述第二特征，获取所述行为识别网络的损失；
基于所述损失调整所述行为识别网络的参数。
2.根据权利要求1所述的方法，其特征在于，所述损失包括第一损失，所述基于所述第一特征和所述第二特征获取所述行为识别网络的损失，包括：
对所述第一特征进行预设处理，得到第三特征，所述第三特征和所述第二特征的维度相同；
基于所述第二特征和所述第三特征之间的差异，获取所述行为识别网络的第一损失。
3.根据权利要求2所述的方法，其特征在于，所述损失还包括第二损失，所述基于所述第一特征和所述第二特征获取所述行为识别网络的损失，还包括：
利用所述行为识别网络基于所述第一特征对所述第一视频帧序列识别，得到第一识别结果；
基于所述第一识别结果和真实结果之间的差异，获取所述行为识别网络的第二损失。
4.根据权利要求3所述的方法，其特征在于，所述基于所述第一损失调整所述行为识别网络的参数，包括：
基于所述第一损失和第二损失调整所述行为识别网络的参数。
5.根据权利要求4所述的方法，其特征在于，所述基于所述第一损失和第二损失调整所述行为识别网络的参数，包括：
利用自适应网络对所述第一损失和所述第二损失进行加权处理，得到第三损失；
基于所述第三损失调整所述行为识别网络和所述自适应网络的参数。
6.根据权利要求1所述的方法，其特征在于，所述获取第一视频帧序列，包括：
获取第二视频帧序列，所述第二视频帧序列包括多个第二视频帧；
判断所述第二视频帧序列中是否存在目标；
若存在，则分别获取各所述第二视频帧中的目标区域，所述目标区域包括所述第二视频帧中的所有所述目标所在区域；
将所述第二视频帧中的目标区域作为对应的第一视频帧，所述各第二视频帧中的目标区域对应的第一视频帧，组成所述第一视频帧序列。
7.根据权利要求6所述的方法，其特征在于，所述获取第二视频帧序列包括：
获取第三视频帧序列，所述第三视频帧序列包括多个第三视频帧和所述第二视频帧，相邻的两个所述第二视频帧之间包括预设数量个所述第三视频帧，所述第二视频帧组成所述第二视频帧序列。
8.根据权利要求6所述的方法，其特征在于，所述判断所述第二视频帧序列中是否存在目标，包括：
利用光流算法获取所述第二视频帧序列的光流信息；
基于所述光流信息判断所述第二视频帧序列中是否存在所述目标。
9.根据权利要求8所述的方法，其特征在于，所述基于所述光流信息判断所述第二视频帧序列中是否存在所述目标，包括：
基于所述光流信息判断所述第二视频帧序列中是否存在运动区域；
若存在，则利用目标检测算法判断所述运动区域是否存在所述目标。
10.一种恶意行为识别方法，其特征在于，包括：
获取第四视频帧序列，所述第四视频帧序列包括多个第四视频帧；
利用所述行为识别网络对所述第四视频帧序列进行识别，得到第二识别结果；
其中，所述行为识别网络是经权利要求1-9中任一项方法训练得到的。
11.一种电子设备，其特征在于，包括处理器、与所述处理器连接的存储器，其中，
所述存储器存储有程序指令；
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-10中任一项所述的方法。
12.一种存储介质，其特征在于，所述存储介质存储程序指令，所述程序指令被执行时实现如权利要求1-10中任一项所述的方法。
CN202011128229.5A 2020-10-20 2020-10-20 行为识别网络的训练、行为识别方法及相关设备 Active CN112257567B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011128229.5A CN112257567B (zh) 2020-10-20 2020-10-20 行为识别网络的训练、行为识别方法及相关设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011128229.5A CN112257567B (zh) 2020-10-20 2020-10-20 行为识别网络的训练、行为识别方法及相关设备

Publications (2)

Publication Number Publication Date
CN112257567A CN112257567A (zh) 2021-01-22
CN112257567B true CN112257567B (zh) 2023-04-07

Family

ID=74245407

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011128229.5A Active CN112257567B (zh) 2020-10-20 2020-10-20 行为识别网络的训练、行为识别方法及相关设备

Country Status (1)

Country Link
CN (1) CN112257567B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113221951B (zh) * 2021-04-13 2023-02-17 天津大学 一种基于时域注意力池化网络的动图分类方法及装置
CN113657163B (zh) * 2021-07-15 2024-06-28 浙江大华技术股份有限公司 行为识别方法、电子装置和存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018153322A1 (zh) * 2017-02-23 2018-08-30 北京市商汤科技开发有限公司 关键点检测方法、神经网络训练方法、装置和电子设备
CN109919245A (zh) * 2019-03-18 2019-06-21 北京市商汤科技开发有限公司 深度学习模型训练方法及装置、训练设备及存储介质
CN110070066A (zh) * 2019-04-30 2019-07-30 福州大学 一种基于姿态关键帧的视频行人重识别方法及***
CN110909663A (zh) * 2019-11-20 2020-03-24 北京奇艺世纪科技有限公司 一种人体关键点识别方法、装置及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018153322A1 (zh) * 2017-02-23 2018-08-30 北京市商汤科技开发有限公司 关键点检测方法、神经网络训练方法、装置和电子设备
CN109919245A (zh) * 2019-03-18 2019-06-21 北京市商汤科技开发有限公司 深度学习模型训练方法及装置、训练设备及存储介质
CN110070066A (zh) * 2019-04-30 2019-07-30 福州大学 一种基于姿态关键帧的视频行人重识别方法及***
CN110909663A (zh) * 2019-11-20 2020-03-24 北京奇艺世纪科技有限公司 一种人体关键点识别方法、装置及电子设备

Also Published As

Publication number Publication date
CN112257567A (zh) 2021-01-22

Similar Documents

Publication Publication Date Title
WO2021000524A1 (zh) 孔位保护门检测方法、装置、计算机设备和存储介质
CN112257567B (zh) 行为识别网络的训练、行为识别方法及相关设备
JP4533836B2 (ja) 変動領域検出装置及びその方法
CN109389019B (zh) 人脸图像选择方法、装置及计算机设备
WO2019076187A1 (zh) 视频遮蔽区域选取方法、装置、电子设备及***
US20220366570A1 (en) Object tracking device and object tracking method
CN111967311B (zh) 情绪识别方法、装置、计算机设备及存储介质
CN110942456B (zh) 篡改图像检测方法、装置、设备及存储介质
CN114241370A (zh) 基于数字孪生变电站的入侵识别方法、装置和计算机设备
JP2020149642A (ja) 物体追跡装置および物体追跡方法
WO2022257314A1 (zh) 图像检测方法和相关训练方法及相关装置、设备及介质
CN111814725A (zh) 一种基于cnn+lstm+mlp组合神经网络判断监控视频着火的预警方法
CN113780145A (zh) ***形态检测方法、装置、计算机设备和存储介质
CN112784494B (zh) 假阳性识别模型的训练方法、目标识别方法及装置
CN112507869B (zh) 基于机器视觉的水下目标物行为观测和水体环境监测方法
JP7072765B2 (ja) 画像処理装置、画像認識装置、画像処理プログラム、及び画像認識プログラム
CN111507361A (zh) 基于微波雷达的动作识别装置、方法及***
CN112053382A (zh) 出入口监测方法、设备及计算机可读存储介质
CN109543610B (zh) 车辆检测跟踪方法、装置、设备及存储介质
US10916016B2 (en) Image processing apparatus and method and monitoring system
JP7243372B2 (ja) 物体追跡装置および物体追跡方法
JP5318664B2 (ja) 対象物検知装置
CN108537105B (zh) 一种家庭环境下的危险行为识别方法
CN113743293B (zh) 跌倒行为检测方法、装置、电子设备及存储介质
CN112308061B (zh) 一种车牌字符识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant