CN112381072B - 一种基于时空信息及人、物交互的人体异常行为检测方法 - Google Patents

一种基于时空信息及人、物交互的人体异常行为检测方法 Download PDF

Info

Publication number
CN112381072B
CN112381072B CN202110030865.2A CN202110030865A CN112381072B CN 112381072 B CN112381072 B CN 112381072B CN 202110030865 A CN202110030865 A CN 202110030865A CN 112381072 B CN112381072 B CN 112381072B
Authority
CN
China
Prior art keywords
human
information
result
frame
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110030865.2A
Other languages
English (en)
Other versions
CN112381072A (zh
Inventor
龚勋
马冰
刘璐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Southwest Jiaotong University
Original Assignee
Southwest Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southwest Jiaotong University filed Critical Southwest Jiaotong University
Priority to CN202110030865.2A priority Critical patent/CN112381072B/zh
Publication of CN112381072A publication Critical patent/CN112381072A/zh
Application granted granted Critical
Publication of CN112381072B publication Critical patent/CN112381072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Alarm Systems (AREA)

Abstract

本发明公开了一种基于时空信息及人、物交互的人体异常行为检测方法，步骤如下：S1、数据采集与标注；S2、提取人和物体的位置信息；S3、提取人和物体的运动信息；S4、人和物体特征交互关系建模；S5、行为分类及融合；S6、检测结果优化。针对倒地、攀爬和肢体冲突异常动作以及持续性异常状态检测问题，采用人物交互的方式辅助判断异常行为，并结合重心的变化情况检测异常行为的持续性状态，同时，除了能够检测异常行为之外，本发明还可以检测走路、站立以及坐下这些正常动作。

Description

一种基于时空信息及人、物交互的人体异常行为检测方法
技术领域
本发明涉及计算机视觉和深度学习技术领域，具体涉及一种基于时空信息及人、物交互的人体异常行为检测方法。
背景技术
人体异常行为检测在安防和智能监控领域具有重要的应用，很大程度上缓解了人工监控的压力并提高了检测效率。现有的解决方案有些采用手工特征提取运动特征进行判别，在实际的真实场景应用中准确率较低；而当前一些基于深度学习的方法只能检测某一种异常行为，无法适应真实条件下多种异常行为的自动判定。而像攀爬和倒地这类异常动作具有一定的特殊性，不仅需要实时检测行为人正在进行的异常动作，还需要能够持续判别这些异常动作的状态。比如倒地后可能持续性的躺在那里不动，攀爬后不断的在桌子或其他辅助物体上走动，这都对现有检测技术带来了挑战，目前的方法无法检测异常动作的持续性状态，因此需要新的技术方法来解决。
发明内容
为解决现有技术中存在的问题，本发明提供了一种基于时空信息及人、物交互的人体异常行为检测方法，解决了上述背景技术中提到的问题。
为实现上述目的，本发明提供如下技术方案：一种基于时空信息及人、物交互的人体异常行为检测方法，步骤如下：S1、数据采集与标注；S2、提取人和物体的位置信息；S3、提取人和物体的运动信息；S4、人和物体特征交互关系建模；S5、行为分类及融合；S6、检测结果优化；所述的异常行为是指超出正常范围的行为，具有一定的场景相关性，表示在该场景下不被接受的行为。
优选的，所述步骤S1中的数据采集与标注包括：采集视频监控中的正常动作和异常动作，对视频数据进行裁剪,通过SSD目标检测网络生成人和物体的初始空间位置, 最后使用简易标注工具对生成的位置信息进行人工校正，修正检测不准确的物***置,得到准确的位置信息；所述的正常动作是指在监控场景下可以被接受的动作，正常动作包括走路、坐下或站立；而异常动作则表示在该场景下不被接受的动作，异常动作包括倒地、攀爬或肢体冲突。
优选的，所述的简易标注工具是用来修正框的位置信息, 读取并显示图片及其对应的人、物框，可以判断显示框的位置是否准确，并通过鼠标重新绘制新的框，新数据会覆盖旧数据。
优选的，所述步骤S2的提取人和物体的位置信息包括: 通过对MS COCO数据集上预训练的SSD目标检测网络在采集的数据集上进行微调，准确检测人和物体的位置。
优选的，所述的微调是指在MS COCO数据集预训练的模型基础上，针对训练数据只对网络的最后两层进行重新训练，其余层的参数保持不变。
优选的，所述步骤S3中的提取人和物体的运动信息包括:采用3D-ShuffleNet网络作为时空运动信息的主干网络, 取当前帧以及前面的15帧数据共同组成一个输入片段作为输入数据, 对输入的16帧数据进行特征提取，最终得到单帧的时空信息特征图。
优选的，所述步骤S4中的人和物体特征交互关系建模包括:将经步骤S2得到的人 和物体的位置信息应用到步骤S3提取得到的特征图上，得到时空特征信息;将人和物体的 特征单***剪出来，进行交互建模,公式如下:
Figure DEST_PATH_IMAGE001
，其中,
Figure DEST_PATH_IMAGE002
表示 第i个人的时空特征与各个物体特征总体的相关性,
Figure DEST_PATH_IMAGE003
表示第i个人的时空运动特征；
Figure DEST_PATH_IMAGE004
表 示第j个物体的特征；
Figure DEST_PATH_IMAGE005
表示当前帧物体特征集合。
Figure DEST_PATH_IMAGE006
表示人和物体关系模型，
Figure DEST_PATH_IMAGE007
表示整合多 个人物关系模型的结果。
优选的，所述步骤S5中的行为分类及融合包括：分别对人体运动信息及人和物体 交互关系模型进行行为分类，对两个分类结果进行融合，得到初步检测结果，融合公式如 下：
Figure DEST_PATH_IMAGE008
，其中，C表示将
Figure DEST_PATH_IMAGE009
和
Figure DEST_PATH_IMAGE010
的分类得分融合得到的动作分类结 果，
Figure DEST_PATH_IMAGE011
表示人体运动信息得到的分类结果得分，
Figure DEST_PATH_IMAGE012
表示人和物体交互关系建模得到的分类 结果得分，
Figure DEST_PATH_IMAGE013
为可学习的超参数，表示结果的重要程度，如果
Figure DEST_PATH_IMAGE014
＜0.5，则说明行为与物体的 相关性小，模型更关注人体运动信息的分类结果，反之，模型则更关注人和物体交互关系建 模的分类结果。
优选的，所述步骤S6中的检测结果优化包括：通过上一帧的初步检测结果，判断是 否检测到倒地的动作，如未检测到倒地的动作，则将上一帧的初步检测结果作为最终结果 并输出行为类别；如检测到倒地的动作则通过位置框计算人体的重心点，并计算相邻帧的 速度变化信息，得到
Figure DEST_PATH_IMAGE015
，
Figure DEST_PATH_IMAGE016
表示相邻帧的速度变化信息，将
Figure 423545DEST_PATH_IMAGE016
与阈值
Figure DEST_PATH_IMAGE017
作比较，如果小于阈 值
Figure 344228DEST_PATH_IMAGE017
，则表明仍然处于倒地状态，并将该结果覆盖检测出的结果；如果大于等于阈值
Figure 677120DEST_PATH_IMAGE017
，则表 明已经不再处于倒地的状态，采用模型检测到的结果作为最终的结果并输出行为类别。
本发明的有益效果是：通过本发明的方法，目标检测模块可以准确定位行为人和物体的具体空间位置，模型最终会给出行为人的行为类别。最后将人体框和行为类别绘制到原始图片上（不包含物体框），并记录异常行为类别。本发明主要在利用人与物交互建模分析、行为分类融合以及基于重心速度模型对结果的优化上，采用人物交互的方式辅助判断异常行为，并结合重心的变化情况检测异常行为的持续性状态。同时，除了能够检测异常行为之外，本发明还可以检测走路、站立以及坐下这些正常动作。
附图说明
图1为本发明网络模型图；
图2为本发明数据采集与标注流程图；
图3为本发明检测结果优化流程图；
图4为本发明模型训练和运行流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图1-4，模型训练和运行流程如图3所示，本发明提供一种技术方案：一种基于时空信息及人、物交互的人体异常行为检测方法，步骤如下：（1）数据采集与标注；（2）提取人和物体的位置信息；（3）提取人和物体的运动信息；（4）人和物体特征交互关系建模；（5）行为分类及融合；（6）检测结果优化。
（1）数据采集与标注
本发明在真实的视频监控场景下采集了正常动作和异常动作的，为了便于对数据标注，我们对真实场景的视频数据进行裁剪，紧接着使用SSD目标检测网络生成人和物体的初始空间位置，网络模型图如图1所示，最后使用发明的简易标注工具对生成的位置信息进行人工校正，修正检测不准确的物***置，具体流程如图2所示。
简易标注工具说明：本工具主要是用来修正框的位置信息的，可以读取并显示图片及其对应的人、物框，使用者可以判断显示框的位置是否准确，并通过鼠标重新绘制新的框，新数据会覆盖旧数据。
（2）提取人和物体的位置信息
本发明通过对MS COCO数据集上预训练的SSD（Single Shot MultiBox Detector）目标检测网络在采集的数据集上进行微调，以适应监控场景下的目标特征，准确检测人和物体的位置。
微调方式：在MS COCO数据集预训练的模型基础上，针对训练数据只对网络的最后两层进行重新训练，其余层的参数保持不变。
（3）提取人和物体的运动信息
为了兼顾运行速度和检测准确度，本发明提出使用3D-ShuffleNet作为时空运动信息的主干网络，具体过程如下：
1）数据采样，本发明使用16帧数据作为输入，具体采样过程是：取当前帧以及前面的15帧数据共同组成一个输入片段作为输入数据；
2）使用时空下采样的方式，对输入的16帧数据进行特征提取，通过对特征下采样，最终得到单帧的时空信息特征图，通过这种方式可以方便与目标检测模块进行结合。
（4） 人和物体特征交互关系建模
本模块的主要过程包含以下几个步骤：
1）将第（2）步得到的位置信息应用到第（3）提取得到的特征图上，得到时空特征信息；
2）将人和物体的特征单***剪出来，进行交互建模分析，公式如下：
Figure DEST_PATH_IMAGE018
其中
Figure DEST_PATH_IMAGE019
表示第i个人的时空运动特征；
Figure DEST_PATH_IMAGE020
表示第j个物体的特征；
Figure DEST_PATH_IMAGE021
表示当前帧物体 特征集合。
Figure DEST_PATH_IMAGE022
表示人和物体关系模型，
Figure DEST_PATH_IMAGE023
表示整合多个人物关系模型的结果，这两者都是通 过卷积神经网络实现。
（5） 行为分类及融合
该模块主要包含三个步骤：
1）对（3）中得到的人体运动信息进行行为分类；
2）对（4）中建立的关系模型进行行为分类；
3）对两个分类结果融合，用到的公式如下：
Figure DEST_PATH_IMAGE024
其中，
Figure DEST_PATH_IMAGE025
表示1）得到的分类结果得分，
Figure DEST_PATH_IMAGE026
表示2）中关系建模得到的分类结果得分，
Figure DEST_PATH_IMAGE027
为可学习的超参数，表示结果的重要程度，如果行为与物体的关系较小，则
Figure 676780DEST_PATH_IMAGE027
较小，模型更 关注1）中的分类结果，否则，2）中的分类结果更重要。
（4） 检测结果优化
本步骤主要是用来优化倒地异常行为的检测结果，主要原因在于，倒地之后人体运动信息有可能较少，单纯使用深度学习的方式无法与正常的行为区分开，因此在检测出倒地的动作之后，通过计算人体的重心速度变化情况进行辅助判断是否仍然处于倒地的状态，优化流程如图4所示。
当前检测结果的优化过程如下：
1）通过上一帧的初步检测结果，判断是否检测到倒地的动作，如未检测到倒地的动作，则将上一帧的初步检测结果作为最终结果并输出行为类别；如检测到倒地的动作则进行第二步；
2）通过位置框计算人体的重心点，并计算相邻帧的速度变化信息，得到
Figure 702505DEST_PATH_IMAGE016
；3）将
Figure DEST_PATH_IMAGE028
与阈值
Figure DEST_PATH_IMAGE029
作比较，如果小于阈值
Figure 48167DEST_PATH_IMAGE029
，则表明仍然处于倒地状态，并将该结果覆盖检测出的结 果；如果大于等于阈值
Figure 184750DEST_PATH_IMAGE029
则表明已经不再处于倒地的状态（比如从倒地站立起来），此时采 用模型检测到的结果作为最终的行为类别。
尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于时空信息及人、物交互的人体异常行为检测方法，其特征在于，步骤如下：S1、数据采集与标注；S2、提取人和物体的位置信息；S3、提取人和物体的运动信息；S4、人和物体特征交互关系建模；S5、行为分类及融合；S6、检测结果优化；
所述步骤S1中的数据采集与标注包括：采集视频监控中的正常动作和异常动作，对视频数据进行裁剪,通过SSD目标检测网络生成人和物体的初始空间位置,最后使用简易标注工具对生成的位置信息进行人工校正，修正检测不准确的物***置,得到准确的位置信息；
所述步骤S4中的人和物体特征交互关系建模包括:将经步骤S2得到的人和物体的位置信息应用到步骤S3提取得到的特征图上，得到时空特征信息；将人和物体的特征单***剪出来，进行交互建模,公式如下:R(Pi)＝Fα{Gβ(Pi,Oj),Oj∈O},其中，R(Pi)表示第i个人的时空特征与各个物体特征总体的相关性,Pi表示第i个人的时空运动特征；Oj表示第j个物体的特征；O表示当前帧物体特征集合；Gβ表示人和物体关系模型，Fα表示整合多个人物关系模型的结果；
所述步骤S6中的检测结果优化包括：通过上一帧的初步检测结果，判断是否检测到倒地的动作，如未检测到倒地的动作，则将上一帧的初步检测结果作为最终结果并输出行为类别；如检测到倒地的动作则通过位置框计算人体的重心点，并计算相邻帧的速度变化信息，得到Vi，将Vi与阈值μ作比较，如果小于阈值μ，则表明仍然处于倒地状态，并将该结果覆盖检测出的结果；如果大于等于阈值μ，则表明已经不再处于倒地的状态，采用模型检测到的结果作为最终的结果并输出行为类别。
2.根据权利要求1所述的基于时空信息及人、物交互的人体异常行为检测方法，其特征在于：所述的简易标注工具是用来修正框的位置信息,读取并显示图片及其对应的人、物框，可以判断显示框的位置是否准确，并通过鼠标重新绘制新的框，新数据会覆盖旧数据。
3.根据权利要求1所述的基于时空信息及人、物交互的人体异常行为检测方法，其特征在于：所述步骤S2中的提取人和物体的位置信息包括:通过对MS COCO数据集上预训练的SSD目标检测网络在采集的数据集上进行微调，准确检测人和物体的位置。
4.根据权利要求3所述的基于时空信息及人、物交互的人体异常行为检测方法，其特征在于：所述的微调是指在MS COCO数据集预训练的模型基础上，针对训练数据只对网络的最后两层进行重新训练，其余层的参数保持不变。
5.根据权利要求1所述的基于时空信息及人、物交互的人体异常行为检测方法，其特征在于：所述步骤S3中的提取人和物体的运动信息包括:采用3D-ShuffleNet网络作为时空运动信息的主干网络,取当前帧以及前面的15帧数据共同组成一个输入片段作为输入数据,对输入的16帧数据进行特征提取，最终得到单帧的时空信息特征图。
6.根据权利要求1所述的基于时空信息及人、物交互的人体异常行为检测方法，其特征在于：所述步骤S5中的行为分类及融合包括：分别对人体运动信息及人和物体交互关系模型进行行为分类，对两个分类结果进行融合，得到初步检测结果，融合公式如下：C＝(1-θ)*S1+θ*S2，其中，C表示将S1和S2的分类得分融合得到的动作分类结果，S1表示人体运动信息得到的分类结果得分，S2表示人和物体交互关系建模得到的分类结果得分，θ为可学习的超参数，表示结果的重要程度，如果θ＜0.5，则说明行为与物体的相关性小，模型更关注人体运动信息的分类结果，反之，模型则更关注人和物体交互关系建模的分类结果。
CN202110030865.2A 2021-01-11 2021-01-11 一种基于时空信息及人、物交互的人体异常行为检测方法 Active CN112381072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110030865.2A CN112381072B (zh) 2021-01-11 2021-01-11 一种基于时空信息及人、物交互的人体异常行为检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110030865.2A CN112381072B (zh) 2021-01-11 2021-01-11 一种基于时空信息及人、物交互的人体异常行为检测方法

Publications (2)

Publication Number Publication Date
CN112381072A CN112381072A (zh) 2021-02-19
CN112381072B true CN112381072B (zh) 2021-05-25

Family

ID=74590054

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110030865.2A Active CN112381072B (zh) 2021-01-11 2021-01-11 一种基于时空信息及人、物交互的人体异常行为检测方法

Country Status (1)

Country Link
CN (1) CN112381072B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114926837B (zh) * 2022-05-26 2023-08-04 东南大学 一种基于人-物时空交互行为的情感识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104510475A (zh) * 2014-12-15 2015-04-15 中国科学院计算技术研究所 一种人体跌倒检测方法及***
CN110321780A (zh) * 2019-04-30 2019-10-11 苏州大学 基于时空运动特性的异常摔倒行为检测方法
CN110569773A (zh) * 2019-08-30 2019-12-13 江南大学 基于时空显著性行为注意力的双流网络行为识别方法
CN111310689A (zh) * 2020-02-25 2020-06-19 陕西科技大学 潜在信息融合的家庭安防***中的人体行为识别的方法
CN111325073A (zh) * 2018-12-17 2020-06-23 上海交通大学 基于运动信息聚类的监控视频异常行为检测方法
CN111738218A (zh) * 2020-07-27 2020-10-02 成都睿沿科技有限公司 人体异常行为识别***及方法
CN111898514A (zh) * 2020-07-24 2020-11-06 燕山大学 一种基于目标检测与动作识别的多目标视觉监管方法
CN112149616A (zh) * 2020-10-13 2020-12-29 西安电子科技大学 基于动态信息的人物交互行为识别方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236783A (zh) * 2010-04-29 2011-11-09 索尼公司 检测异常行为的方法和设备及生成检测器的方法和设备
EP3566175A4 (en) * 2017-01-06 2020-07-29 Sportlogiq Inc. SYSTEMS AND METHODS FOR UNDERSTANDING BEHAVIOR FROM TRAJECTORIES
US11450145B2 (en) * 2017-04-12 2022-09-20 Disney Enterprise, Inc. System and method for monitoring procedure compliance
US10572723B2 (en) * 2017-12-07 2020-02-25 Futurewei Technologies, Inc. Activity detection by joint human and object detection and tracking
CN110555404A (zh) * 2019-08-29 2019-12-10 西北工业大学 基于人体姿态识别的飞翼无人机地面站交互装置及方法
CN111339668B (zh) * 2020-02-28 2022-05-10 西南交通大学 基于情绪认知的人群疏散可视化方法
CN111582122B (zh) * 2020-04-29 2021-03-16 成都信息工程大学 一种监控视频多维度行人行为智能分析***及方法
CN111709306B (zh) * 2020-05-22 2023-06-09 江南大学 基于多层次时空特征融合增强的双流网络行为识别方法
CN111797705A (zh) * 2020-06-11 2020-10-20 同济大学 一种基于人物关系建模的动作识别方法
CN111767888A (zh) * 2020-07-08 2020-10-13 北京澎思科技有限公司 对象状态检测方法、计算机设备、存储介质和电子设备
CN112052795B (zh) * 2020-09-07 2022-10-18 北京理工大学 一种基于多尺度时空特征聚合的视频行为识别方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104510475A (zh) * 2014-12-15 2015-04-15 中国科学院计算技术研究所 一种人体跌倒检测方法及***
CN111325073A (zh) * 2018-12-17 2020-06-23 上海交通大学 基于运动信息聚类的监控视频异常行为检测方法
CN110321780A (zh) * 2019-04-30 2019-10-11 苏州大学 基于时空运动特性的异常摔倒行为检测方法
CN110569773A (zh) * 2019-08-30 2019-12-13 江南大学 基于时空显著性行为注意力的双流网络行为识别方法
CN111310689A (zh) * 2020-02-25 2020-06-19 陕西科技大学 潜在信息融合的家庭安防***中的人体行为识别的方法
CN111898514A (zh) * 2020-07-24 2020-11-06 燕山大学 一种基于目标检测与动作识别的多目标视觉监管方法
CN111738218A (zh) * 2020-07-27 2020-10-02 成都睿沿科技有限公司 人体异常行为识别***及方法
CN112149616A (zh) * 2020-10-13 2020-12-29 西安电子科技大学 基于动态信息的人物交互行为识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
iCAN: Instance-Centric Attention Network for Human-Object Interaction Detection;Chen Gao等;《arXiv:1808.10437v1》;20180830;第1-13页引言、第3节，图3 *
基于时空交互注意力模型的人体行为识别算法;潘娜等;《激光与光电子学进展》;20200930;第57卷(第18期);第181506-1 - 181506-9页 *
基于深度学习的行为检测方法综述;高陈强等;《重庆邮电大学学报(自然科学版)》;20201231;第32卷(第6期);第991-1002页 *

Also Published As

Publication number Publication date
CN112381072A (zh) 2021-02-19

Similar Documents

Publication Publication Date Title
US11983919B2 (en) Video anomaly detection method based on human-machine cooperation
CN111797771B (zh) 一种基于迭代学习的弱监督视频行为检测方法及***
CN110532970B (zh) 人脸2d图像的年龄性别属性分析方法、***、设备和介质
CN103324937B (zh) 标注目标的方法和装置
CN104123545B (zh) 一种实时表情特征提取及表情识别方法
CN111832400B (zh) 一种基于概率神经网络的口罩佩戴情况的监测***及方法
CN110674785A (zh) 一种基于人体关键点跟踪的多人姿态分析方法
CN103268495B (zh) 计算机***中基于先验知识聚类的人体行为建模识别方法
CN105160310A (zh) 基于3d卷积神经网络的人体行为识别方法
CN113807276A (zh) 基于优化的YOLOv4模型的吸烟行为识别方法
CN112906631B (zh) 一种基于视频的危险驾驶行为检测方法和检测***
CN109389185A (zh) 使用三维卷积神经网络的视频烟雾识别方法
CN112686152B (zh) 一种多尺寸输入和多尺寸目标的农作物病虫害识别方法
US20200306585A1 (en) Jump counting method for jump rope
CN108960047A (zh) 基于深度二次树的视频监控中人脸去重方法
US20230237694A1 (en) Method and system for detecting children's sitting posture based on face recognition of children
CN112381072B (zh) 一种基于时空信息及人、物交互的人体异常行为检测方法
CN110674887A (zh) 一种基于视频分类的端到端道路拥堵检测算法
CN115330833A (zh) 一种改进多目标跟踪的果实产量估算方法
CN117137435B (zh) 一种基于多模态信息融合的康复动作识别方法和***
CN113887386A (zh) 基于深度学习和机器学习的多特征融合的疲劳检测方法
US20230237682A1 (en) Method and system for binocular ranging for children
CN107688828A (zh) 一种基于手机传感器的公交车拥挤程度估测方法
CN114639168B (zh) 一种用于跑步姿态识别的方法和***
CN110046601A (zh) 针对十字路口场景的行人检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant