CN114049682A - 一种人体异常行为识别方法、装置、设备及存储介质 - Google Patents

一种人体异常行为识别方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN114049682A
CN114049682A CN202111207918.XA CN202111207918A CN114049682A CN 114049682 A CN114049682 A CN 114049682A CN 202111207918 A CN202111207918 A CN 202111207918A CN 114049682 A CN114049682 A CN 114049682A
Authority
CN
China
Prior art keywords
abnormal behavior
video data
probability set
abnormal
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202111207918.XA
Other languages
English (en)
Inventor
陈婷婷
杜鹏飞
高思佟
刘佳豪
胡续辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Vocational College Of Information Technology
Original Assignee
Nanjing Vocational College Of Information Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Vocational College Of Information Technology filed Critical Nanjing Vocational College Of Information Technology
Priority to CN202111207918.XA priority Critical patent/CN114049682A/zh
Publication of CN114049682A publication Critical patent/CN114049682A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种人体异常行为识别方法、装置、设备及存储介质，所述方法包括：获取待识别视频数据；对所述待识别视频数据进行预处理，获得人体感兴趣区域视频数据和手部感兴趣区域视频数据；将人体感兴趣区域视频数据输入第一异常行为识别模型，获得第一异常行为概率集；将手部感兴趣区域视频数据输入第二异常行为识别模型，获得第二异常行为概率集；将待识别视频数据输入第三异常行为识别模型，获得第三异常行为概率集；对第一异常行为概率集、第二异常行为概率集和第三异常行为概率集进行融合处理，获得最终异常行为概率集，从而确定异常行为识别结果。本发明结合多种模型，降低了模型判断错误导致预测错误的可能性，提高了识别率。

Description

一种人体异常行为识别方法、装置、设备及存储介质
技术领域
本发明涉及一种人体异常行为识别方法、装置、设备及存储介质，属于图像特征和模式识别领域。
背景技术
近年来，随着城市人口密度的不断增长，人员结构越来越复杂，使得城市管理越来越困难，各种异常行为(如打架、抢劫等)导致的安全问题不断涌现；监控***虽然己经广泛的存在于商场、银行、交通路口和车站等众多公共的场所，但是实际监控任务仍然要求更多的人来完成，并且现有视频类监控***一般情况下只录制视频图像，因此提供给我们的信息是未经解释的视频图像，只可以用于事后的取证，无法充分的发挥监控的主动性和实时性，导致民众的财产损失甚至危及生命安全，无法满足安全防控的要求。
发明内容
本发明的目的在于克服现有技术中的不足，提供一种人体异常行为识别方法、装置、设备及存储介质，提高人体异常行为的识别率。
为解决上述技术问题，本发明是采用下述技术方案实现的：
第一方面，本发明提供了一种人体异常行为识别方法，包括获取待识别视频数据；
对所述待识别视频数据进行预处理，获得人体感兴趣区域视频数据和手部感兴趣区域视频数据；
将获取的人体感兴趣区域视频数据输入预先训练好的第一异常行为识别模型，获得第一异常行为概率集；
将获取的手部感兴趣区域视频数据输入预先训练好的第二异常行为识别模型，获得第二异常行为概率集；
将获取的待识别视频数据输入预先训练好的第三异常行为识别模型，获得第三异常行为概率集；
对第一异常行为概率集、第二异常行为概率集和第三异常行为概率集进行融合处理，获得最终异常行为概率集，从而确定异常行为识别结果。
进一步的，所述待识别视频数据为RGB视频数据。
进一步的，所述第一异常行为识别模型、第二异常行为识别模型和第三异常行为识别模型均为3D卷积神经网络模型。
进一步的，所述人体感兴趣区域视频数据的获取包括：
通过OpenPose软件获取RGB视频的每一帧图像的人体骨骼各关节坐标；
以人体骨骼各关节坐标为中心选取左右一定尺寸的部分复制粘贴到相同尺寸的空白图像上的相同坐标处，其他像素值设置为0，得到只留下人体的图像；
将图像转化成视频，获得人体感兴趣区域视频数据。
进一步的，所述手部感兴趣区域视频数据的获取包括：
通过OpenPose软件获取RGB视频的每一帧图像的人体骨骼手部关节坐标；
以手部关节坐标为中心选取左右一定尺寸的部分复制粘贴到相同尺寸的空白图像上的相同坐标处，其他像素值设置为0，得到只留下手部的图像；
将图像转化成视频，获得手部感兴趣区域视频数据。
进一步的，所述第一异常行为概率集、第二异常行为概率集和第三异常行为概率集通过相加运算进行集成融合处理。
第二方面，本发明提供了一种人体异常行为识别装置，包括：
获取模块，用于获取待识别视频数据，并对待识别视频数据进行预处理，获得人体感兴趣区域视频数据和手部感兴趣区域视频数据；
第一识别模块，用于将获取的人体感兴趣区域视频数据输入预先训练好的第一异常行为识别模型，获得第一异常行为概率集；
第二识别模块，用于将获取的手部感兴趣区域视频数据输入预先训练好的第二异常行为识别模型，获得第二异常行为概率集；
第三识别模块，用于将获取的待识别视频数据输入预先训练好的第三异常行为识别模型，获得第三异常行为概率集；
融合模块，用于对第一异常行为概率集、第二异常行为概率集和第三异常行为概率集进行融合处理，获得最终异常行为概率集；
确定模块，用于根据最终异常行为概率集，确定异常行为识别结果。
第三方面，本发明提供了一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面任一项所述人体异常行为识别方法。
第四方面，一种存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时第一方面任一项所述人体异常行为识别方法。
与现有技术相比，本发明所达到的有益效果：结合第一异常行为识别模型、第二异常行为识别模型和第三异常行为识别模型，多种模型，对待识别视频数据和感兴趣区域视频数据所对应的识别结果进行融合处理，获得最终识别结果，降低了模型判断错误导致预测错误的可能性，提高了识别率。
附图说明
图1为本发明一实施例的人体异常行为识别方法流程图；
图2是本发明一实施例人体感兴趣区域获取过程示意图；
图3是本发明一实施例手部感兴趣区域获取过程示意图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。
实施例1：
本实施例提供了一种人体异常行为识别方法，包括以下步骤：
基于历史视频数据集，通过3D卷积神经网络，建立第一异常行为识别模型、第二异常行为识别模型和第三异常行为识别模型。
获取待识别RGB视频数据，通过OpenPose软件获取RGB视频的每一帧图像的人体骨骼各关节坐标，以人体骨骼各关节坐标为中心选取左右一定尺寸的部分复制粘贴到相同尺寸的空白图像上的相同坐标处，其他像素值设置为0，得到只留下人体的图像，将图像转化成视频，获得人体感兴趣区域视频数据；通过OpenPose软件获取RGB视频的每一帧图像的人体骨骼手部关节坐标，以手部关节坐标为中心选取左右一定尺寸的部分复制粘贴到相同尺寸的空白图像上的相同坐标处，其他像素值设置为0，得到只留下手部的图像，将图像转化成视频，获得手部感兴趣区域视频数据。
将获取的人体感兴趣区域视频数据输入第一异常行为识别模型，获得第一异常行为概率集，将获取的手部感兴趣区域视频数据输入第二异常行为识别模型，获得第二异常行为概率集，将获取的待识别视频数据输入第三异常行为识别模型，获得第三异常行为概率集。
通过相加运算对第一异常行为概率集、第二异常行为概率集和第三异常行为概率集进行集成融合处理，获得最终异常行为概率集，从而确定异常行为识别结果，相加运算公式表示为：
Figure BDA0003307646150000051
m代表的是模型数，n代表的是总的类别数，pmn代表的是输入视频被视频第m个模型识别为第n类的概率。
以跌倒行为，m＝3(第一异常行为识别模型、第二异常行为识别模型和第三异常行为识别模型),n＝2(跌倒，非跌倒)为例。
p11代表跌倒RGB视频经过第三异常行为识别模型被识别为跌倒的概率，假设是0.9；p21人体感兴趣区域视频经过第二异常行为识别模型被识别为跌倒的概率假设为0.8；p31手部感兴趣区域视频经过第一异常行为识别模型被识别为跌倒的概率，假设0.7。
p12代表跌倒RGB视频经过第三异常行为识别模型被识别为非跌倒的概率，假设0.1；p22代表人体感兴趣区域视频经过第二异常行为识别模型被识别为非跌倒的概率，假设0.2；p32代表手部感兴趣区域视频经过第一异常行为识别模型被识别为非跌倒的概率，假设0.3；则第一行代表的是判断为跌倒，所以最终会被识别为摔倒。
实施例2：
本实施例中，提供了一种人体异常行为识别装置，所述装置包括：
获取模块，用于获取待识别视频数据，并对待识别视频数据进行预处理，获得人体感兴趣区域视频数据和手部感兴趣区域视频数据；
第一识别模块，用于将获取的人体感兴趣区域视频数据输入预先训练好的第一异常行为识别模型，获得第一异常行为概率集；
第二识别模块，用于将获取的手部感兴趣区域视频数据输入预先训练好的第二异常行为识别模型，获得第二异常行为概率集；
第三识别模块，用于将获取的待识别视频数据输入预先训练好的第三异常行为识别模型，获得第三异常行为概率集；
融合模块，用于对第一异常行为概率集、第二异常行为概率集和第三异常行为概率集进行融合处理，获得最终异常行为概率集；
确定模块，用于根据最终异常行为概率集，确定异常行为识别结果。
实施例3：
本实施中，提供了一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现实施例1所述人体异常行为识别方法。
实施例4：
本实施中，提供了一种存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述人体异常行为识别方法。
本领域内的技术人员应明白，本申请的实施例可提供为方法、***、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，这些均属于本发明的保护之内。

Claims (9)

1.一种人体异常行为识别方法，其特征在于，包括：
获取待识别视频数据；
对所述待识别视频数据进行预处理，获得人体感兴趣区域视频数据和手部感兴趣区域视频数据；
将获取的人体感兴趣区域视频数据输入预先训练好的第一异常行为识别模型，获得第一异常行为概率集；
将获取的手部感兴趣区域视频数据输入预先训练好的第二异常行为识别模型，获得第二异常行为概率集；
将获取的待识别视频数据输入预先训练好的第三异常行为识别模型，获得第三异常行为概率集；
对第一异常行为概率集、第二异常行为概率集和第三异常行为概率集进行融合处理，获得最终异常行为概率集，从而确定异常行为识别结果。
2.根据权利要求1所述的人体异常行为识别方法，其特征在于，所述待识别视频数据为RGB视频数据。
3.根据权利要求2所述的人体异常行为识别方法，其特征在于，所述第一异常行为识别模型、第二异常行为识别模型和第三异常行为识别模型均为3D卷积神经网络模型。
4.根据权利要求1所述的人体异常行为识别方法，其特征在于，所述人体感兴趣区域视频数据的获取包括：
通过OpenPose软件获取RGB视频的每一帧图像的人体骨骼各关节坐标；
以人体骨骼各关节坐标为中心选取左右一定尺寸的部分复制粘贴到相同尺寸的空白图像上的相同坐标处，其他像素值设置为0，得到只留下人体的图像；
将图像转化成视频，获得人体感兴趣区域视频数据。
5.根据权利要求1所述的人体异常行为识别方法，其特征在于，所述手部感兴趣区域视频数据的获取包括：
通过OpenPose软件获取RGB视频的每一帧图像的人体骨骼手部关节坐标；
以手部关节坐标为中心选取左右一定尺寸的部分复制粘贴到相同尺寸的空白图像上的相同坐标处，其他像素值设置为0，得到只留下手部的图像；
将图像转化成视频，获得手部感兴趣区域视频数据。
6.根据权利要求1所述的人体异常行为识别方法，其特征在于，所述第一异常行为概率集、第二异常行为概率集和第三异常行为概率集通过相加运算进行集成融合处理。
7.一种人体异常行为识别装置，其特征在于，包括：
获取模块，用于获取待识别视频数据，并对待识别视频数据进行预处理，获得人体感兴趣区域视频数据和手部感兴趣区域视频数据；
第一识别模块，用于将获取的人体感兴趣区域视频数据输入预先训练好的第一异常行为识别模型，获得第一异常行为概率集；
第二识别模块，用于将获取的手部感兴趣区域视频数据输入预先训练好的第二异常行为识别模型，获得第二异常行为概率集；
第三识别模块，用于将获取的待识别视频数据输入预先训练好的第三异常行为识别模型，获得第三异常行为概率集；
融合模块，用于对第一异常行为概率集、第二异常行为概率集和第三异常行为概率集进行融合处理，获得最终异常行为概率集；
确定模块，用于根据最终异常行为概率集，确定异常行为识别结果。
8.一种设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6任一项所述人体异常行为识别方法。
9.一种存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6任一项所述人体异常行为识别方法。
CN202111207918.XA 2021-10-18 2021-10-18 一种人体异常行为识别方法、装置、设备及存储介质 Withdrawn CN114049682A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111207918.XA CN114049682A (zh) 2021-10-18 2021-10-18 一种人体异常行为识别方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111207918.XA CN114049682A (zh) 2021-10-18 2021-10-18 一种人体异常行为识别方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114049682A true CN114049682A (zh) 2022-02-15

Family

ID=80205471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111207918.XA Withdrawn CN114049682A (zh) 2021-10-18 2021-10-18 一种人体异常行为识别方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN114049682A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117273571A (zh) * 2023-10-12 2023-12-22 江苏泓鑫科技有限公司 一种基于区块链的智慧港口作业数据管理***与方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117273571A (zh) * 2023-10-12 2023-12-22 江苏泓鑫科技有限公司 一种基于区块链的智慧港口作业数据管理***与方法
CN117273571B (zh) * 2023-10-12 2024-04-02 江苏泓鑫科技有限公司 一种基于区块链的智慧港口作业数据管理***与方法

Similar Documents

Publication Publication Date Title
US11188783B2 (en) Reverse neural network for object re-identification
CN111563446B (zh) 一种基于数字孪生的人-机交互安全预警与控制方法
CN108805015B (zh) 加权卷积自编码长短期记忆网络人群异常检测方法
CN110728209B (zh) 一种姿态识别方法、装置、电子设备及存储介质
CN110363131B (zh) 基于人体骨架的异常行为检测方法、***及介质
CN110781843A (zh) 课堂行为检测方法及电子设备
CN104268594A (zh) 一种视频异常事件检测方法及装置
CN111931582A (zh) 基于图像处理的高速公路交通事件检测方法
CN112101123B (zh) 一种注意力检测方法及装置
CN111539272B (zh) 基于联合特征被动检测ai换脸视频的方法及***
CN112906631A (zh) 一种基于视频的危险驾驶行为检测方法和检测***
CN115063730A (zh) 基于视频轨迹分析的工人闯入临边区域预警方法及***
CN115546742A (zh) 一种基于单目热红外摄像头的铁轨异物识别方法及***
CN114049682A (zh) 一种人体异常行为识别方法、装置、设备及存储介质
CN111310647A (zh) 自动识别跌倒模型的生成方法和装置
Lu et al. Bi-temporal attention transformer for building change detection and building damage assessment
CN115331152B (zh) 一种消防识别方法和***
CN110956097A (zh) 遮挡人体提取方法及模块、场景转换方法及装置
CN113591647B (zh) 人体动作识别方法、装置、计算机设备和存储介质
CN115359091A (zh) 一种用于移动机器人的装甲板检测跟踪方法
CN115761869A (zh) 一种眨眼检测的方法、装置及存储介质
CN113850134A (zh) 一种融合注意力机制相的安全帽佩戴检测方法及***
CN110728310A (zh) 一种基于超参数优化的目标检测模型融合方法及融合***
CN117952226B (zh) 基于人工智能辨识数据感知***及其方法
CN114155555B (zh) 人体行为人工智能判断***和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20220215

WW01 Invention patent application withdrawn after publication