CN111814775B - 目标对象异常行为识别方法、装置、终端及存储介质 - Google Patents

目标对象异常行为识别方法、装置、终端及存储介质 Download PDF

Info

Publication number
CN111814775B
CN111814775B CN202010944370.6A CN202010944370A CN111814775B CN 111814775 B CN111814775 B CN 111814775B CN 202010944370 A CN202010944370 A CN 202010944370A CN 111814775 B CN111814775 B CN 111814775B
Authority
CN
China
Prior art keywords
abnormal
target object
behavior
target
whole
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010944370.6A
Other languages
English (en)
Other versions
CN111814775A (zh
Inventor
周琅
杜佳辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202010944370.6A priority Critical patent/CN111814775B/zh
Publication of CN111814775A publication Critical patent/CN111814775A/zh
Application granted granted Critical
Publication of CN111814775B publication Critical patent/CN111814775B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能，提供一种目标对象异常行为识别方法、装置、终端及存储介质，包括：提取目标对象的视频中的全身图像；通过人脸表情识别模型识别全身图像中的人脸表情、肢体动作识别模型识别全身图像中的肢体动作及暴力倾向行为识别模型识别全身图像中的暴力倾向行为；将人脸表情、肢体动作及暴力倾向行为分别与异常行为预警数据库进行匹配来识别目标对象存在异常行为时，识别存在异常行为的异常类型并分析出异常等级及可能后果。本发明可应用于智慧政务或者智慧小区中，能够精确的识别出目标对象是否有异常行为，并给出异常行为的异常类型及对应的异常等级和可能后果。此外，本发明还涉及区块链技术领域，目标对象的视频可从区块链中获取。

Description

目标对象异常行为识别方法、装置、终端及存储介质
技术领域
本发明涉及人工智能中的视频监控技术领域，具体涉及一种目标对象异常行为识别方法、装置、终端及存储介质。
背景技术
在传统视频接访模式下，视频监控主要被运用于记录上访人人像信息及对接访过程进行全程留痕。上访人是否存在异常行为或者异常情况主要依赖于人工判断识别以及机器安全检测。
然而，人工查找上访人行为异常点比较困难，且效率低下，容易造成遗漏；机器安全检测仅针对上访人携带的物品进检测，无法对上访人本身的行为是否异常进行检测，且检测范围有限。
图像识别等技术已被广泛应用于各行各业中，但在信访接待中鲜有运用，因此，在信访接待中，如何通过图像识别等技术对上访人是否具有异常行为进行智能自动高效检测成为亟待解决的技术问题。
发明内容
鉴于以上内容，有必要提出一种目标对象异常行为识别方法、装置、终端及存储介质，能够精确的识别出目标对象是否有异常行为，并给出异常行为的异常类型及对应的异常等级和可能后果。
本发明的第一方面提供一种目标对象异常行为识别方法，所述方法包括：
获取目标对象的第一视频并提取所述第一视频中的多帧第一全身图像；
调用人脸表情识别模型识别每帧第一全身图像中的第一人脸表情、调用肢体动作识别模型识别每帧第一全身图像中的第一肢体动作及调用暴力倾向行为识别模型识别每帧第一全身图像中的第一暴力倾向行为；
将每个所述第一人脸表情、每个所述第一肢体动作及每个所述第一暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配，并根据匹配结果识别所述目标对象是否存在异常行为；
当根据匹配结果识别所述目标对象存在异常行为时，识别存在异常行为的异常类型并确定每一种异常类型对应的元素标识；根据异常行为特征分析规则分析出每一个元素标识对应的异常等级及可能后果，将每一种异常类型对应的多个异常等级按照从高到低进行排序，并将排序在第一的异常等级作为所述异常类型的异常等级，将每一种异常类型对应的多个可能后果按照异常等级进行排序，并将排序后的多个可能结果串接在一起得到所述异常类型的可能后果。
根据本发明的一个可选实施例，所述将每个所述第一人脸表情、每个所述第一肢体动作及每个所述第一暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配，并根据匹配结果识别所述目标对象是否存在异常行为包括：
获取所述异常行为预警数据库中异常类型为表情异常对应的多个人脸表情并将获取的多个人脸表情与所述人脸表情进行匹配，当从所述第一人脸表情中匹配出与所述第二人脸表情对应的目标人脸表情时，确定所述目标对象的异常类型为表情异常；
获取所述异常行为预警数据库中异常类型为过激肢体对应的多个第二肢体动作，并将所述多个第二肢体动作与所述第一肢体动作进行匹配，当从所述第一肢体动作中匹配出与所述第二肢体动作对应的目标肢体动作时，确定所述目标对象的异常类型为过激肢体；
获取所述异常行为预警数据库中异常类型为暴力倾向对应的多个第二暴力倾向行为，并将所述多个第二暴力倾向行为与所述第一暴力倾向行为进行匹配，当从所述第一暴力倾向行为中匹配出与所述第二暴力倾向行为对应的目标暴力倾向行为时，确定所述目标对象的异常类型为暴力倾向。
根据本发明的一个可选实施例，所述方法还包括：
确定所述目标人脸表情对应的全身图像的第一帧序号集；
确定所述目标肢体动作对应的全身图像的第二帧序号集；
确定所述目标暴力倾向行为对应的全身图像的第三帧序号集；
判断所述第一帧序号集、所述第二帧序号集及所述第三帧序号集之间的任意两个帧序号集中是否有至少一个相同的帧序号；
当判断所述第一帧序号集、所述第二帧序号集及所述第三帧序号集之间的任意两个帧序号集中有至少一个相同的帧序号时，保留具有相同的帧序号的第一目标全身图像并删除不具有相同帧序号的第二目标全身图像；
确定所述第一目标全身图像对应的目标异常行为的目标异常类型并确定每一种目标异常类型对应的目标元素标识。
根据本发明的一个可选实施例，所述异常行为预警数据库的构建过程包括：
初始化一个异常行为预警数据库；
获取多个历史目标对象的第二视频并提取所述第二视频中的多帧第二全身图像；
为每帧第二全身图像设置至少一个元素标识及异常类型；
将每帧第二全身图像及所述第二全身图像对应的至少一个元素标识及异常类型关联存储在所述异常行为预警数据库中，其中，所述异常行为预警数据库存储于区块链的节点中。
根据本发明的一个可选实施例，在所述将每帧第二全身图像及所述第二全身图像对应的至少一个元素标识及异常类型关联存储在所述异常行为预警数据库中之后，所述方法还包括：
逐行读取所述异常行为预警数据库中的数据并将每行读取到的数据组合为一个数据对；
基于所述异常类型为表情异常对应的多个数据对训练预设第一卷积神经网络得到人脸表情识别模型；
基于所述异常类型为过激肢体对应的多个数据对训练预设第二卷积神经网络得到肢体动作识别模型；
基于所述异常类型为暴力倾向对应的多个数据对训练预设第三卷积神经网络得到暴力倾向行为识别模型。
根据本发明的一个可选实施例，在所述获取目标对象的第一视频之前，所述方法还包括：
响应于接收到的启动指令，发送所述启动指令至智能监控摄像头，使得所述智能监控摄像头启动并采集所述目标对象的第一视频；
接收所述智能监控摄像头传输的所述目标对象的第一视频。
根据本发明的一个可选实施例，在所述识别存在异常行为的异常类型并根据异常行为特征分析规则分析出与所述异常类型对应的异常等级及可能后果之后，所述方法还包括：显示存在异常行为的结果、所述异常类型、所述异常等级及所述可能后果。
本发明的第二方面提供一种目标对象异常行为识别装置，所述装置包括：
图像提取模块，用于获取目标对象的第一视频并提取所述第一视频中的多帧第一全身图像；模型调用模块，用于调用人脸表情识别模型识别每帧第一全身图像中的第一人脸表情、调用肢体动作识别模型识别每帧第一全身图像中的第一肢体动作及调用暴力倾向行为识别模型识别每帧第一全身图像中的第一暴力倾向行为；
结果匹配模块，用于将每个所述第一人脸表情、每个所述第一肢体动作及每个所述第一暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配，并根据匹配结果识别所述目标对象是否存在异常行为；
后果分析模块，用于当根据匹配结果识别所述目标对象存在异常行为时，识别存在异常行为的异常类型并根据异常行为特征分析规则分析出与所述异常类型对应的异常等级及可能后果。
本发明的第三方面提供一种终端，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现所述目标对象异常行为识别方法。
本发明的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述目标对象异常行为识别方法。
综上所述，本发明所述的目标对象异常行为识别方法、装置、终端及存储介质，获取目标对象的视频并提取视频中的多帧全身图像，通过分别调用人脸表情识别模型、肢体动作识别模型、暴力倾向行为识别模型来识别人脸表情、肢体动作和暴力倾向行为，接着使用人脸表情、肢体动作及暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配来识别所述目标对象是否存在异常行为，并在识别出目标对象存在异常行为时，进一步识别存在异常行为的异常类型并根据异常行为特征分析规则分析出与所述异常类型对应的异常等级及可能后果，实现了智能高效且精确的检测上访人是否具有异常行为的效果。
附图说明
图1是本发明实施例提供的目标对象异常行为识别方法的流程图。
图2是本发明实施例提供的目标对象异常行为识别装置的结构图。
图3是本发明实施例提供的终端的结构示意图。
具体实施方式
为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施例对本发明进行详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本发明。
实施例一
图1是本发明实施例提供的目标对象异常行为识别方法的流程图。所述目标对象异常行为识别方法具体包括以下步骤，根据不同的需求，该流程图中步骤的顺序可以改变，某些可以省略。
S11，获取目标对象的第一视频并提取所述第一视频中的多帧第一全身图像。
可以在检察机关信访接待室安装智能监控摄像头。当有目标对象来访时，使用所述智能监控摄像头采集目标对象的包括脸部、四肢、身体等在内的第一视频，并通过智能监控摄像头传输所述视频至终端中，所述终端接收所述智能监控摄像头传输的所述目标对象的第一视频。所述终端可以为信访接待人的设备。所述目标对象为上访人。
终端中预先设置有图像提取帧率，根据所述图像提取帧率提取所述第一视频中的多帧第一全身图像。
在一个可选的实施例中，在上述步骤S11之前，所述目标对象异常行为识别方法还包括：
响应于接收到的启动指令，发送所述启动指令至智能监控摄像头，使得所述智能监控摄像头启动并采集所述目标对象的第一视频。
该可选的实施例中，通过接收信访接待人的启动指令来触发智能监控摄像头启动，能够避免智能监控摄像头一直处于工作状态。智能监控摄像头一直处于工作状态，一来会耗费智能监控摄像头的电能，二来会采集与信访接待人相关的图像，并传输与信访接待人相关的图像至终端中，导致占用终端的内存空间，降低终端的性能。
S12，调用人脸表情识别模型识别每帧第一全身图像中的第一人脸表情。
终端中预先训练有人脸表情识别模型，通过调用人脸表情识别模型识别第一全身图像得到目标对象的脸部表情，每张第一全身图像对应得到一个脸部表情。
S13，调用肢体动作识别模型识别每帧第一全身图像中的第一肢体动作。
终端中预先训练有肢体动作识别模型，通过调用肢体动作识别模型识别第一全身图像得到目标对象的肢体动作，每张第一全身图像对应得到一个肢体动作。
S14，调用暴力倾向行为识别模型识别每帧第一全身图像中的第一暴力倾向行为。
终端中预先训练有暴力倾向行为识别模型，通过调用暴力倾向行为识别模型识别第一全身图像得到目标对象的暴力倾向行为，每张第一全身图像对应得到一个暴力倾向行为。
在一个可选的实施例中，所述终端中可以开启三个线程，分别调用人脸表情识别模型、肢体动作识别模型和暴力倾向行为识别模型。即，所述终端同时执行上述步骤S12-S14。
S15，将每个所述第一人脸表情、每个所述第一肢体动作及每个所述第一暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配，并根据匹配结果识别所述目标对象是否存在异常行为。
终端中预先构建有异常行为预警数据库，所述异常行为预警数据库中记录有多个数据，所述多个数据可以包括，但不限于：异常类型、人脸表情、肢体动作、暴力倾向行为等。
分别将目标对象的人脸表情、肢体动作及暴力倾向行为与异常行为预警数据库中的多个数据进行一一匹配，得到匹配结果，根据匹配结果来识别目标对象是否存在异常行为。
在一个可选的实施例中，所述将每个所述第一人脸表情、每个所述第一肢体动作及每个所述第一暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配，并根据匹配结果识别所述目标对象是否存在异常行为包括：
获取所述异常行为预警数据库中异常类型为表情异常对应的多个人脸表情并将获取的多个人脸表情与所述人脸表情进行匹配，当从所述第一人脸表情中匹配出与所述第二人脸表情对应的目标人脸表情时，确定所述目标对象的异常类型为表情异常；
获取所述异常行为预警数据库中异常类型为过激肢体对应的多个第二肢体动作，并将所述多个第二肢体动作与所述第一肢体动作进行匹配，当从所述第一肢体动作中匹配出与所述第二肢体动作对应的目标肢体动作时，确定所述目标对象的异常类型为过激肢体；
获取所述异常行为预警数据库中异常类型为暴力倾向对应的多个第二暴力倾向行为，并将所述多个第二暴力倾向行为与所述第一暴力倾向行为进行匹配，当从所述第一暴力倾向行为中匹配出与所述第二暴力倾向行为对应的目标暴力倾向行为时，确定所述目标对象的异常类型为暴力倾向。
当没有匹配出与所述人脸表情对应的目标人脸表情时，或者当没有匹配出与所述肢体动作对应的目标肢体动作时，或者当没有匹配出与所述暴力倾向行为对应的目标暴力倾向行为时，确定所述目标对象不存在异常行为，即目标对象的行为正常。当根据匹配结果识别所述目标对象不存在异常行为时，所述目标对象异常行为识别方法还包括：输出不存在异常行为的结果。
在一个可选的实施例中，当匹配出与所述人脸表情对应的目标人脸表情、目标肢体动作、目标暴力倾向行为时，所述方法还包括：
确定所述目标人脸表情对应的全身图像的第一帧序号集；
确定所述目标肢体动作对应的全身图像的第二帧序号集；
确定所述目标暴力倾向行为对应的全身图像的第三帧序号集；
判断所述第一帧序号集、所述第二帧序号集及所述第三帧序号集之间的任意两个帧序号集中是否有至少一个相同的帧序号；
当判断所述第一帧序号集、所述第二帧序号集及所述第三帧序号集之间的任意两个帧序号集中有至少一个相同的帧序号时，保留具有相同的帧序号的第一目标全身图像并删除不具有相同帧序号的第二目标全身图像；
确定所述第一目标全身图像对应的目标异常行为的目标异常类型并确定每一种目标异常类型对应的目标元素标识。
示例性的，假设，从第一人脸表情中匹配出的目标人脸表情对应的全身图像的帧序号为1，3，4，6，7，则第一帧序号集为{1，3，4，6，7}；从第一肢体动作中匹配出的目标肢体动作对应的全身图像的帧序号为1，4，5，6，8，则第一帧序号集为{1，4，5，6，8}；从第一暴力倾向行为中匹配出的目标暴力倾向行为对应的全身图像的帧序号为2，5，6，9，则第一帧序号集为{2，5，6，9}。由于第一帧序号集与第二帧序号集中具有相同的帧序号为1，4，6；第一帧序号集与第三帧序号集中具有相同的帧序号为6；第二帧序号集与第三帧序号集中具有相同的帧序号为5，6，则将帧序号为1，4，5，6的全身图像确定为第一目标图像。后续针对帧序号为1，4，5，6的第一目标图像分别与异常行为预警数据库中的多个数据进行匹配，具体是将帧序号为1，4，6的第一目标图像中的第一人脸表情与异常行为预警数据库中的多个人脸表情数据进行匹配，将帧序号为5，6的第一目标图像中的第一肢体动作与异常行为预警数据库中的多个肢体动作数据进行匹配，将帧序号为5，6的第一目标图像中的第一暴力倾向行为与异常行为预警数据库中的多个暴力倾向行为数据进行匹配，从而确定出目标异常行为的目标异常类型并确定每一种目标异常类型对应的目标元素标识。
该可选的实施例，本发明通过单独识别目标对象(上访人)的人脸表情、肢体动作及暴力倾向行为，能够全方面的获取目标对象(上访人)的异常行为，便于后续更加全面且精准的判断异常等级，为信访接待人提供应对策略。而由于目标对象(上访人)在信访过程中，存在一种异常类型的异常行为时，大概率上会存在另一种或者多种的其他异常类型的异常行为，比如，在存在愤怒表情的异常行为时，大概率上会存在过激肢体动作这一异常行为；同样的，在存在暴力倾向行为这一异常行为时，基本上会存在愤怒表情的异常行为和过激肢体动作的异常行为，即说明在信访场景中，目标对象(上访人)会同时存在至少两种移动类型的异常行为。本实施例中，通过确定第一帧序号集、第二帧序号集、第三帧序号集，再保留所述第一帧序号集、所述第二帧序号集及所述第三帧序号集之间的任意两个帧序号集中具有相同的帧序号的第一目标全身图像，最后确定所述第一目标全身图像对应的目标异常行为的目标异常类型并确定每一种目标异常类型对应的目标元素标识，不仅能够避免单一识别一种异常类型的异常行为造成误识别或者识别较片面的问题，提高识别异常行为的准确率；且第一目标全身图像的数量相较于第一全身图像的数量大大减少，为后续根据异常行为特征分析规则分析出与所述异常类型对应的异常等级及可能后果减少了计算过程，能够提高异常等级及可能后果的分析效率。
S16，当根据匹配结果识别所述目标对象存在异常行为时，识别存在异常行为的异常类型并根据异常行为特征分析规则分析出与所述异常类型对应的异常等级及可能后果。
终端确定目标对象存在异常行为，则进一步识别目标对象具体属于哪一种类型的异常行为。
每一种人脸表情，每一种肢体动作及每一种暴力倾向行为均有可能造成不良后果，造成不良后果的程度也有所差异，需要分析出目标对象的异常等级，并确定可能带来的后果，便于信访接待人提前做好防备。
在一个可选的实施例中，所述根据异常行为特征分析规则分析出与所述异常类型对应的异常等级及可能后果包括：
确定每一种异常类型对应的元素标识；
根据异常行为特征分析规则分析出每一个元素标识对应的异常等级及可能后果；
将每一种异常类型对应的多个异常等级按照从高到低进行排序，并将排序在第一的异常等级作为所述异常类型的异常等级；
将每一种异常类型对应的多个可能后果按照异常等级进行排序，并将排序后的多个可能结果串接在一起得到所述异常类型的可能后果。
终端中的异常行为特征分析规则表包括多列数据，例如第一列数据为异常等级、第二列数据为异常类型、第三列数据为元素标识，其中，每一个异常等级对应所有的异常类型，每一个异常类型对应多个元素标识，不同的异常等级及不同的异常类型对应的元素标识不同。
示例性的，假设异常类型为表情异常对应多个元素标识为：愤怒表情、紧张表情、悲伤表情，其中，愤怒表情对应的异常等级为严重，可能后果为打人，紧张表情对应的异常等级为一般，可能后果为辱骂，悲伤表情对应的异常等级为轻微，可能后果为哭泣。则将表情异常这一异常类型对应的多个异常等级按照从高到低进行排序：严重、一般、轻微，将严重作为异常类型为表情异常的异常等级。将可能后果按照异常等级进行排序为：打人、辱骂、哭泣，串接在一起得到(打人、辱骂、哭泣)，作为异常类型为表情异常的可能后果。
在一个可选的实施例中，上述确定每一种异常类型对应的元素标识为确定每一种目标异常类型对应的目标元素标识，根据异常行为特征分析规则分析出每一个目标元素标识对应的目标异常等级及目标可能后果，将每一种目标异常类型对应的多个目标异常等级按照从高到低进行排序，并将排序在第一的目标异常等级作为所述目标异常类型的目标异常等级，将每一种目标异常类型对应的多个目标可能后果按照目标异常等级进行排序，并将排序后的多个目标可能结果串接在一起得到所述目标异常类型的最终可能后果。
在一个可选的实施例中，所述目标对象异常行为识别方法包括：
初始化一个异常行为预警数据库；
获取多个历史目标对象的第二视频并提取所述第二视频中的多帧第二全身图像；
为每帧第二全身图像设置至少一个元素标识及异常类型；
将每帧第二全身图像及所述第二全身图像对应的至少一个元素标识及异常类型关联存储在所述异常行为预警数据库中。
该可选的实施例中，获取多个历史目标对象的第二视频，并通过信访接待人的工作经验从每个第二视频中截取出多个第二全身图像，作为特征图。
由于每一张第二全身图像中可能存在一个或多个元素，将每一个元素进行打标，给出每一张第二全身图像的多个元素标识及每一个元素标识对应的异常类型。
其中，所述异常类型包括：表情异常、过激肢体、暴力倾向。
异常类型为表情异常对应的多个元素可以包括：愤怒、紧张、厌恶、悲伤、激动等，用以表明历史目标对象的情绪不稳定。
异常类型为过激肢体对应的多个元素可以包括：暴力、谩骂等，用以表明历史目标对象有过激的肢体行为。
异常类型为暴力倾向对应的多个元素可以包括：出现问话不答、语速语调异常、徘徊、人员聚集、携带横幅、打横幅、携带管制刀具等，用以表明历史目标对象具有除了表情异常及过激肢体以外的危险行为。
对后续新识别出来的具有异常行为的目标对象的相关信息也可添加到所述异常行为预警数据库中。
通过终端构建异常行为预警数据库，能够用于作为后续对目标对象进行异常行为比对的数据来源，识别出目标对象是否存在异常行为以及具体存在哪些异常行为。
在一个可选的实施例中，所述目标对象异常行为识别方法还包括：
逐行读取所述异常行为预警数据库中的数据并将每行读取到的数据组合为一个数据对；
基于所述异常类型为表情异常对应的多个数据对训练预设第一卷积神经网络得到人脸表情识别模型；
基于所述异常类型为过激肢体对应的多个数据对训练预设第二卷积神经网络得到肢体动作识别模型；
基于所述异常类型为暴力倾向对应的多个数据对训练预设第三卷积神经网络得到暴力倾向行为识别模型。
该可选的实施例中，基于异常行为预警数据库中的数据离线训练出人脸表情识别模型、肢体动作识别模型及暴力倾向行为识别模型，便于后续在线使用训练好的人脸表情识别模型识别目标对象图像中的人脸表情、使用肢体动作识别模型识别目标对象图像中的肢体动作及使用暴力倾向行为识别模型识别目标对象图像中的暴力倾向行为。
在一个可选的实施例中，所述目标对象异常行为识别方法还包括：
显示存在异常行为的结果、所述异常类型、所述异常等级及所述可能后果。
根据匹配结果识别所述目标对象存在异常行为时，不仅输出目标对象存在异常行为的结果，还进一步输出异常类型、异常等级及可能后果给信访接待人，增强信访风险把控的及时性、针对性和有效性。
本发明实施例所述的目标对象异常行为识别方法，可运用于智慧政务中，智能识别上访人的异常行为，促进智慧城市的建设。所述目标对象异常行为识别方法，还可应用于智慧小区中，将智能监控摄像头安装在小区中，智能识别外来人的异常行为，确保小区居民的安全。
需要强调的是，为进一步保证上述目标对象的第一视频、异常行为预警数据库、分析出的目标对象的异常等级及可能后果的私密和安全性，上述目标对象的第一视频可从区块链节点中获取，上述异常行为预警数据库、分析出的目标对象的异常等级及可能后果可存储于区块链的节点中。
实施例二
图2是本发明实施例提供的目标对象异常行为识别装置的结构图。
在一些实施例中，所述目标对象异常行为识别装置20可以包括多个由计算机程序段所组成的功能模块。所述目标对象异常行为识别装置20中的各个程序段的计算机程序可以存储于终端的存储器中，并由至少一个处理器所执行，以执行(详见图1描述)目标对象异常行为识别的功能。
本实施例中，所述目标对象异常行为识别装置20根据其所执行的功能，可以被划分为多个功能模块。所述功能模块可以包括：图像提取模块201、指令接收模块202、模型调用模块203、结果匹配模块204、后果分析模块205、关联存储模块206、模型训练模块207及结果显示模块208。本发明所称的模块是指一种能够被至少一个处理器所执行并且能够完成固定功能的一系列计算机程序段，其存储在存储器中。在本实施例中，关于各模块的功能将在后续的实施例中详述。
所述图像提取模块201，用于获取目标对象的第一视频并提取所述第一视频中的多帧第一全身图像。
可以在检察机关信访接待室安装智能监控摄像头。当有目标对象来访时，使用所述智能监控摄像头采集目标对象的包括脸部、四肢、身体等在内的第一视频，并通过智能监控摄像头传输所述视频至终端中，所述终端接收所述智能监控摄像头传输的所述目标对象的第一视频。所述终端可以为信访接待人的设备。所述目标对象为上访人。
终端中预先设置有图像提取帧率，根据所述图像提取帧率提取所述第一视频中的多帧第一全身图像。
所述指令接收模块202，用于响应于接收到的启动指令，发送所述启动指令至智能监控摄像头，使得所述智能监控摄像头启动并采集所述目标对象的第一视频。
该可选的实施例中，通过接收信访接待人的启动指令来触发智能监控摄像头启动，能够避免智能监控摄像头一直处于工作状态。智能监控摄像头一直处于工作状态，一来会耗费智能监控摄像头的电能，二来会采集与信访接待人相关的图像，并传输与信访接待人相关的图像至终端中，导致占用终端的内存空间，降低终端的性能。
所述模型调用模块203，用于调用人脸表情识别模型识别每帧第一全身图像中的第一人脸表情。
终端中预先训练有人脸表情识别模型，通过调用人脸表情识别模型识别第一全身图像得到目标对象的脸部表情，每张第一全身图像对应得到一个脸部表情。
所述模型调用模块203，还用于调用肢体动作识别模型识别每帧第一全身图像中的第一肢体动作。
终端中预先训练有肢体动作识别模型，通过调用肢体动作识别模型识别第一全身图像得到目标对象的肢体动作，每张第一全身图像对应得到一个肢体动作。
所述模型调用模块203，还用于调用暴力倾向行为识别模型识别每帧第一全身图像中的第一暴力倾向行为。
终端中预先训练有暴力倾向行为识别模型，通过调用暴力倾向行为识别模型识别第一全身图像得到目标对象的暴力倾向行为，每张第一全身图像对应得到一个暴力倾向行为。
在一个可选的实施例中，所述模型调用模块203同时调用人脸表情识别模型、肢体动作识别模型和暴力倾向行为识别模型。
所述结果匹配模块204，用于将每个所述第一人脸表情、每个所述第一肢体动作及每个所述第一暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配，并根据匹配结果识别所述目标对象是否存在异常行为。
终端中预先构建有异常行为预警数据库，所述异常行为预警数据库中记录有多个数据，所述多个数据可以包括，但不限于：异常类型、人脸表情、肢体动作、暴力倾向行为等。
分别将目标对象的人脸表情、肢体动作及暴力倾向行为与异常行为预警数据库中的多个数据进行一一匹配，得到匹配结果，根据匹配结果来识别目标对象是否存在异常行为。
在一个可选的实施例中，所述结果匹配模块204将每个所述第一人脸表情、每个所述第一肢体动作及每个所述第一暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配，并根据匹配结果识别所述目标对象是否存在异常行为包括：
获取所述异常行为预警数据库中异常类型为表情异常对应的多个人脸表情并将获取的多个人脸表情与所述人脸表情进行匹配，当从所述第一人脸表情中匹配出与所述第二人脸表情对应的目标人脸表情时，确定所述目标对象的异常类型为表情异常；
获取所述异常行为预警数据库中异常类型为过激肢体对应的多个第二肢体动作，并将所述多个第二肢体动作与所述第一肢体动作进行匹配，当从所述第一肢体动作中匹配出与所述第二肢体动作对应的目标肢体动作时，确定所述目标对象的异常类型为过激肢体；
获取所述异常行为预警数据库中异常类型为暴力倾向对应的多个第二暴力倾向行为，并将所述多个第二暴力倾向行为与所述第一暴力倾向行为进行匹配，当从所述第一暴力倾向行为中匹配出与所述第二暴力倾向行为对应的目标暴力倾向行为时，确定所述目标对象的异常类型为暴力倾向。
当没有匹配出与所述人脸表情对应的目标人脸表情时，或者当没有匹配出与所述肢体动作对应的目标肢体动作时，或者当没有匹配出与所述暴力倾向行为对应的目标暴力倾向行为时，确定所述目标对象不存在异常行为，即目标对象的行为正常。当根据匹配结果识别所述目标对象不存在异常行为时，所述目标对象异常行为识别方法还包括：输出不存在异常行为的结果。
在一个可选的实施例中，当匹配出与所述人脸表情对应的目标人脸表情、目标肢体动作、目标暴力倾向行为时，所述结果匹配模块204还用于：
确定所述目标人脸表情对应的全身图像的第一帧序号集；
确定所述目标肢体动作对应的全身图像的第二帧序号集；
确定所述目标暴力倾向行为对应的全身图像的第三帧序号集；
判断所述第一帧序号集、所述第二帧序号集及所述第三帧序号集之间的任意两个帧序号集中是否有至少一个相同的帧序号；
当判断所述第一帧序号集、所述第二帧序号集及所述第三帧序号集之间的任意两个帧序号集中有至少一个相同的帧序号时，保留具有相同的帧序号的第一目标全身图像并删除不具有相同帧序号的第二目标全身图像；
确定所述第一目标全身图像对应的目标异常行为的目标异常类型并确定每一种目标异常类型对应的目标元素标识。
示例性的，假设，从第一人脸表情中匹配出的目标人脸表情对应的全身图像的帧序号为1，3，4，6，7，则第一帧序号集为{1，3，4，6，7}；从第一肢体动作中匹配出的目标肢体动作对应的全身图像的帧序号为1，4，5，6，8，则第一帧序号集为{1，4，5，6，8}；从第一暴力倾向行为中匹配出的目标暴力倾向行为对应的全身图像的帧序号为2，5，6，9，则第一帧序号集为{2，5，6，9}。由于第一帧序号集与第二帧序号集中具有相同的帧序号为1，4，6；第一帧序号集与第三帧序号集中具有相同的帧序号为6；第二帧序号集与第三帧序号集中具有相同的帧序号为5，6，则将帧序号为1，4，5，6的全身图像确定为第一目标图像。后续针对帧序号为1，4，5，6的第一目标图像分别与异常行为预警数据库中的多个数据进行匹配，具体是将帧序号为1，4，6的第一目标图像中的第一人脸表情与异常行为预警数据库中的多个人脸表情数据进行匹配，将帧序号为5，6的第一目标图像中的第一肢体动作与异常行为预警数据库中的多个肢体动作数据进行匹配，将帧序号为5，6的第一目标图像中的第一暴力倾向行为与异常行为预警数据库中的多个暴力倾向行为数据进行匹配，从而确定出目标异常行为的目标异常类型并确定每一种目标异常类型对应的目标元素标识。
该可选的实施例，本发明通过单独识别目标对象(上访人)的人脸表情、肢体动作及暴力倾向行为，能够全方面的获取目标对象(上访人)的异常行为，便于后续更加全面且精准的判断异常等级，为信访接待人提供应对策略。而由于目标对象(上访人)在信访过程中，存在一种异常类型的异常行为时，大概率上会存在另一种或者多种的其他异常类型的异常行为，比如，在存在愤怒表情的异常行为时，大概率上会存在过激肢体动作这一异常行为；同样的，在存在暴力倾向行为这一异常行为时，基本上会存在愤怒表情的异常行为和过激肢体动作的异常行为，即说明在信访场景中，目标对象(上访人)会同时存在至少两种移动类型的异常行为。本实施例中，通过确定第一帧序号集、第二帧序号集、第三帧序号集，再保留所述第一帧序号集、所述第二帧序号集及所述第三帧序号集之间的任意两个帧序号集中具有相同的帧序号的第一目标全身图像，最后确定所述第一目标全身图像对应的目标异常行为的目标异常类型并确定每一种目标异常类型对应的目标元素标识，不仅能够避免单一识别一种异常类型的异常行为造成误识别或者识别较片面的问题，提高识别异常行为的准确率；且第一目标全身图像的数量相较于第一全身图像的数量大大减少，为后续根据异常行为特征分析规则分析出与所述异常类型对应的异常等级及可能后果减少了计算过程，能够提高异常等级及可能后果的分析效率。
所述后果分析模块205，用于当根据匹配结果识别所述目标对象存在异常行为时，识别存在异常行为的异常类型并根据异常行为特征分析规则分析出与所述异常类型对应的异常等级及可能后果。
终端确定目标对象存在异常行为，则进一步识别目标对象具体属于哪一种类型的异常行为。
每一种人脸表情，每一种肢体动作及每一种暴力倾向行为均有可能造成不良后果，造成不良后果的程度也有所差异，需要分析出目标对象的异常等级，并确定可能带来的后果，便于信访接待人提前做好防备。
在一个可选的实施例中，所述后果分析模块205根据异常行为特征分析规则分析出与所述异常类型对应的异常等级及可能后果包括：
确定每一种异常类型对应的元素标识；
根据异常行为特征分析规则分析出每一个元素标识对应的异常等级及可能后果；
将每一种异常类型对应的多个异常等级按照从高到低进行排序，并将排序在第一的异常等级作为所述异常类型的异常等级；
将每一种异常类型对应的多个可能后果按照异常等级进行排序，并将排序后的多个可能结果串接在一起得到所述异常类型的可能后果。
终端中的异常行为特征分析规则表包括多列数据，例如第一列数据为异常等级、第二列数据为异常类型、第三列数据为元素标识，其中，每一个异常等级对应所有的异常类型，每一个异常类型对应多个元素标识，不同的异常等级及不同的异常类型对应的元素标识不同。
示例性的，假设异常类型为表情异常对应的多个元素标识为：愤怒表情、紧张表情、悲伤表情，其中，愤怒表情对应的异常等级为严重，可能后果为打人，紧张表情对应的异常等级为一般，可能后果为辱骂，悲伤表情对应的异常等级为轻微，可能后果为哭泣。则将表情异常这一异常类型对应的多个异常等级按照从高到低进行排序：严重、一般、轻微，将严重作为异常类型为表情异常的异常等级。将可能后果按照异常等级进行排序为：打人、辱骂、哭泣，串接在一起得到(打人、辱骂、哭泣)，作为异常类型为表情异常的可能后果。
在一个可选的实施例中，上述确定每一种异常类型对应的元素标识为确定每一种目标异常类型对应的目标元素标识，根据异常行为特征分析规则分析出每一个目标元素标识对应的目标异常等级及目标可能后果，将每一种目标异常类型对应的多个目标异常等级按照从高到低进行排序，并将排序在第一的目标异常等级作为所述目标异常类型的目标异常等级，将每一种目标异常类型对应的多个目标可能后果按照目标异常等级进行排序，并将排序后的多个目标可能结果串接在一起得到所述目标异常类型的最终可能后果。
所述关联存储模块206，用于初始化一个异常行为预警数据库；获取多个历史目标对象的第二视频并提取所述第二视频中的多帧第二全身图像；为每帧第二全身图像设置至少一个元素标识及异常类型；将每帧第二全身图像及所述第二全身图像对应的至少一个元素标识及异常类型关联存储在所述异常行为预警数据库中。
该可选的实施例中，获取多个历史目标对象的第二视频，并通过信访接待人的工作经验从每个第二视频中截取出多个第二全身图像，作为特征图。
由于每一张第二全身图像中可能存在一个或多个元素，将每一个元素进行打标，给出每一张第二全身图像的多个元素标识及每一个元素标识对应的异常类型。
其中，所述异常类型包括：表情异常、过激肢体、暴力倾向。
异常类型为表情异常对应的多个元素可以包括：愤怒、紧张、厌恶、悲伤、激动等，用以表明历史目标对象的情绪不稳定。
异常类型为过激肢体对应的多个元素可以包括：暴力、谩骂等，用以表明历史目标对象有过激的肢体行为。
异常类型为暴力倾向对应的多个元素可以包括：出现问话不答、语速语调异常、徘徊、人员聚集、携带横幅、打横幅、携带管制刀具等，用以表明历史目标对象具有除了表情异常及过激肢体以外的危险行为。
对后续新识别出来的具有异常行为的目标对象的相关信息也可添加到所述异常行为预警数据库中。
通过终端构建异常行为预警数据库，能够用于作为后续对目标对象进行异常行为比对的数据来源，识别出目标对象是否存在异常行为以及具体存在哪些异常行为。
所述模型训练模块207，用于逐行读取所述异常行为预警数据库中的数据并将每行读取到的数据组合为一个数据对。
所述模型训练模块207，还用于基于所述异常类型为表情异常对应的多个数据对训练预设第一卷积神经网络得到人脸表情识别模型。
所述模型训练模块207，还用于基于所述异常类型为过激肢体对应的多个数据对训练预设第二卷积神经网络得到肢体动作识别模型。
所述模型训练模块207，还用于基于所述异常类型为暴力倾向对应的多个数据对训练预设第三卷积神经网络得到暴力倾向行为识别模型。
该可选的实施例中，基于异常行为预警数据库中的数据离线训练出人脸表情识别模型、肢体动作识别模型及暴力倾向行为识别模型，便于后续在线使用训练好的人脸表情识别模型识别目标对象图像中的人脸表情、使用肢体动作识别模型识别目标对象图像中的肢体动作及使用暴力倾向行为识别模型识别目标对象图像中的暴力倾向行为。
所述结果显示模块208，用于显示存在异常行为的结果、所述异常类型、所述异常等级及所述可能后果。
根据匹配结果识别所述目标对象存在异常行为时，不仅输出目标对象存在异常行为的结果，还进一步输出异常类型、异常等级及可能后果给信访接待人，增强信访风险把控的及时性、针对性和有效性。
本发明实施例所述的目标对象异常行为识别装置，可运用于智慧政务中，智能识别上访人的异常行为，促进智慧城市的建设。所述目标对象异常行为识别方法，还可应用于智慧小区中，将智能监控摄像头安装在小区中，智能识别外来人的异常行为，确保小区居民的安全。
需要强调的是，为进一步保证上述目标对象的第一视频、异常行为预警数据库、分析出的目标对象的异常等级及可能后果的私密和安全性，上述目标对象的第一视频可从区块链节点中获取，上述异常行为预警数据库、分析出的目标对象的异常等级及可能后果可存储于区块链的节点中。
实施例三
本实施例提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述目标对象异常行为识别方法实施例中的全部或者部分步骤，例如图1所示的S11-S16：
S11，获取目标对象的第一视频并提取所述第一视频中的多帧第一全身图像；
S12，调用人脸表情识别模型识别每帧第一全身图像中的第一人脸表情；
S13，调用肢体动作识别模型识别每帧第一全身图像中的第一肢体动作；
S14，调用暴力倾向行为识别模型识别每帧第一全身图像中的第一暴力倾向行为；
S15，将每个所述第一人脸表情、每个所述第一肢体动作及每个所述第一暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配，并根据匹配结果识别所述目标对象是否存在异常行为；
S16，当根据匹配结果识别所述目标对象存在异常行为时，识别存在异常行为的异常类型并根据异常行为特征分析规则分析出与所述异常类型对应的异常等级及可能后果。
或者，所述计算机程序被处理器执行时实现上述装置实施例中各模块的功能，例如图2中的模块201-208：
所述图像提取模块201，用于获取目标对象的第一视频并提取所述第一视频中的多帧第一全身图像；
所述指令接收模块202，用于响应于接收到的启动指令，发送所述启动指令至智能监控摄像头，使得所述智能监控摄像头启动并采集所述目标对象的第一视频；
所述模型调用模块203，用于调用人脸表情识别模型识别每帧第一全身图像中的第一人脸表情；
所述模型调用模块203，还用于调用肢体动作识别模型识别每帧第一全身图像中的第一肢体动作；
所述模型调用模块203，还用于调用暴力倾向行为识别模型识别每帧第一全身图像中的第一暴力倾向行为；
所述结果匹配模块204，用于将每个所述第一人脸表情、每个所述第一肢体动作及每个所述第一暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配，并根据匹配结果识别所述目标对象是否存在异常行为；
所述后果分析模块205，用于当根据匹配结果识别所述目标对象存在异常行为时，识别存在异常行为的异常类型并根据异常行为特征分析规则分析出与所述异常类型对应的异常等级及可能后果；
所述关联存储模块206，用于初始化一个异常行为预警数据库；获取多个历史目标对象的第二视频并提取所述第二视频中的多帧第二全身图像；为每帧第二全身图像设置至少一个元素标识及异常类型；将每帧第二全身图像及所述第二全身图像对应的至少一个元素标识及异常类型关联存储在所述异常行为预警数据库中；
所述模型训练模块207，用于逐行读取所述异常行为预警数据库中的数据并将每行读取到的数据组合为一个数据对；
所述模型训练模块207，还用于基于所述异常类型为表情异常对应的多个数据对训练预设第一卷积神经网络得到人脸表情识别模型；
所述模型训练模块207，还用于基于所述异常类型为过激肢体对应的多个数据对训练预设第二卷积神经网络得到肢体动作识别模型；
所述模型训练模块207，还用于基于所述异常类型为暴力倾向对应的多个数据对训练预设第三卷积神经网络得到暴力倾向行为识别模型；
所述结果显示模块208，用于显示存在异常行为的结果、所述异常类型、所述异常等级及所述可能后果。
实施例四
参阅图3所示，为本发明实施例提供的终端的结构示意图。在本发明较佳实施例中，所述终端3包括存储器31、至少一个处理器32、至少一条通信总线33及收发器34。
本领域技术人员应该了解，图3示出的终端的结构并不构成本发明实施例的限定，既可以是总线型结构，也可以是星形结构，所述终端3还可以包括比图示更多或更少的其他硬件或者软件，或者不同的部件布置。
在一些实施例中，所述终端3是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的终端，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。所述终端3还可包括客户设备，所述客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
需要说明的是，所述终端3仅为举例，其他现有的或今后可能出现的电子产品如可适应于本发明，也应包含在本发明的保护范围以内，并以引用方式包含于此。
在一些实施例中，所述存储器31中存储有计算机程序，且所述至少一个处理器32可调用所述存储器31中存储的计算机程序以执行相关的功能。例如，上述实施例中所述的各个模块是存储在所述存储器31中的计算机程序，并由所述至少一个处理器32所执行，从而实现所述各个模块的功能。所述存储器31包括只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、一次可编程只读存储器(One-timeProgrammable Read-Only Memory，OTPROM)、电子擦除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
进一步地，所述计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
在一些实施例中，所述至少一个处理器32是所述终端3的控制核心(ControlUnit)，利用各种接口和线路连接整个终端3的各个部件，通过运行或执行存储在所述存储器31内的程序或者模块，以及调用存储在所述存储器31内的数据，以执行终端3的各种功能和处理数据。例如，所述至少一个处理器32执行所述存储器中存储的计算机程序时实现本发明实施例中所述的目标对象异常行为识别方法的全部或者部分步骤。所述至少一个处理器32可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(CentralProcessing unit，CPU)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
在一些实施例中，所述至少一条通信总线33被设置为实现所述存储器31以及所述至少一个处理器32等之间的连接通信。
尽管未示出，所述终端3还可以包括给各个部件供电的电源(比如电池)，优选的，电源可以通过电源管理装置与所述至少一个处理器32逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述终端3还可以包括多种传感器、蓝牙模块、Wi-Fi模块等，在此不再赘述。上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台终端(可以是个人计算机，或者网络设备等)或处理器(processor)执行本发明各个实施例所述目标对象异常行为识别方法的部分。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或，单数不排除复数。装置实施例中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims (10)

1.一种目标对象异常行为识别方法，其特征在于，所述目标对象异常行为识别方法包括：获取目标对象的第一视频并提取所述第一视频中的多帧第一全身图像；
调用人脸表情识别模型识别每帧第一全身图像中的第一人脸表情、调用肢体动作识别模型识别每帧第一全身图像中的第一肢体动作及调用暴力倾向行为识别模型识别每帧第一全身图像中的第一暴力倾向行为；
将每个所述第一人脸表情、每个所述第一肢体动作及每个所述第一暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配，并根据匹配结果识别所述目标对象是否存在异常行为；
当根据匹配结果识别所述目标对象存在异常行为时，识别存在异常行为的异常类型并确定每一种异常类型对应的元素标识；
根据异常行为特征分析规则分析出每一个元素标识对应的异常等级及可能后果，将每一种异常类型对应的多个异常等级按照从高到低进行排序，并将排序在第一的异常等级作为所述异常类型的异常等级，将每一种异常类型对应的多个可能后果按照异常等级进行排序，并将排序后的多个可能结果串接在一起得到所述异常类型的可能后果。
2.如权利要求1所述的目标对象异常行为识别方法，其特征在于，所述将每个所述第一人脸表情、每个所述第一肢体动作及每个所述第一暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配，并根据匹配结果识别所述目标对象是否存在异常行为包括：
获取所述异常行为预警数据库中异常类型为表情异常对应的多个第二人脸表情，并将所述多个第二人脸表情与所述第一人脸表情进行匹配，当从所述第一人脸表情中匹配出与所述第二人脸表情对应的目标人脸表情时，确定所述目标对象的异常类型为表情异常；
获取所述异常行为预警数据库中异常类型为过激肢体对应的多个第二肢体动作，并将所述多个第二肢体动作与所述第一肢体动作进行匹配，当从所述第一肢体动作中匹配出与所述第二肢体动作对应的目标肢体动作时，确定所述目标对象的异常类型为过激肢体；
获取所述异常行为预警数据库中异常类型为暴力倾向对应的多个第二暴力倾向行为，并将所述多个第二暴力倾向行为与所述第一暴力倾向行为进行匹配，当从所述第一暴力倾向行为中匹配出与所述第二暴力倾向行为对应的目标暴力倾向行为时，确定所述目标对象的异常类型为暴力倾向。
3.如权利要求2所述的目标对象异常行为识别方法，其特征在于，所述方法还包括：
确定所述目标人脸表情对应的全身图像的第一帧序号集；
确定所述目标肢体动作对应的全身图像的第二帧序号集；
确定所述目标暴力倾向行为对应的全身图像的第三帧序号集；
判断所述第一帧序号集、所述第二帧序号集及所述第三帧序号集之间的任意两个帧序号集中是否有至少一个相同的帧序号；
当判断所述第一帧序号集、所述第二帧序号集及所述第三帧序号集之间的任意两个帧序号集中有至少一个相同的帧序号时，保留具有相同的帧序号的第一目标全身图像并删除不具有相同帧序号的第二目标全身图像；
确定所述第一目标全身图像对应的目标异常行为的目标异常类型并确定每一种目标异常类型对应的目标元素标识。
4.如权利要求1所述的目标对象异常行为识别方法，其特征在于，所述异常行为预警数据库的构建过程包括：
初始化一个异常行为预警数据库；
获取多个历史目标对象的第二视频并提取所述第二视频中的多帧第二全身图像；
为每帧第二全身图像设置至少一个元素标识及异常类型；
将每帧第二全身图像及所述第二全身图像对应的至少一个元素标识及异常类型关联存储在所述异常行为预警数据库中，其中，所述异常行为预警数据库存储于区块链的节点中。
5.如权利要求4所述的目标对象异常行为识别方法，其特征在于，在所述将每帧第二全身图像及所述第二全身图像对应的至少一个元素标识及异常类型关联存储在所述异常行为预警数据库中之后，所述方法还包括：
逐行读取所述异常行为预警数据库中的数据并将每行读取到的数据组合为一个数据对；
基于所述异常类型为表情异常对应的多个数据对训练预设第一卷积神经网络得到人脸表情识别模型；
基于所述异常类型为过激肢体对应的多个数据对训练预设第二卷积神经网络得到肢体动作识别模型；
基于所述异常类型为暴力倾向对应的多个数据对训练预设第三卷积神经网络得到暴力倾向行为识别模型。
6.如权利要求1至5中任意一项所述的目标对象异常行为识别方法，其特征在于，在所述获取目标对象的第一视频之前，所述方法还包括：
响应于接收到的启动指令，发送所述启动指令至智能监控摄像头，使得所述智能监控摄像头启动并采集所述目标对象的第一视频；
接收所述智能监控摄像头传输的所述目标对象的第一视频。
7.如权利要求6所述的目标对象异常行为识别方法，其特征在于，在所述识别存在异常行为的异常类型并根据异常行为特征分析规则分析出与所述异常类型对应的异常等级及可能后果之后，所述方法还包括：
显示存在异常行为的结果、所述异常类型、所述异常等级及所述可能后果。
8.一种目标对象异常行为识别装置，其特征在于，所述装置包括：
图像提取模块，用于获取目标对象的第一视频并提取所述第一视频中的多帧第一全身图像；
模型调用模块，用于调用人脸表情识别模型识别每帧第一全身图像中的第一人脸表情、调用肢体动作识别模型识别每帧第一全身图像中的第一肢体动作及调用暴力倾向行为识别模型识别每帧第一全身图像中的第一暴力倾向行为；
结果匹配模块，用于将每个所述第一人脸表情、每个所述第一肢体动作及每个所述第一暴力倾向行为分别与异常行为预警数据库中的多个数据进行匹配，并根据匹配结果识别所述目标对象是否存在异常行为；
后果分析模块，用于当根据匹配结果识别所述目标对象存在异常行为时，识别存在异常行为的异常类型并确定每一种异常类型对应的元素标识，根据异常行为特征分析规则分析出每一个元素标识对应的异常等级及可能后果，将每一种异常类型对应的多个异常等级按照从高到低进行排序，并将排序在第一的异常等级作为所述异常类型的异常等级，将每一种异常类型对应的多个可能后果按照异常等级进行排序，并将排序后的多个可能结果串接在一起得到所述异常类型的可能后果。
9.一种终端，其特征在于，所述终端包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如权利要求1至7中任意一项所述目标对象异常行为识别方法。
10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述目标对象异常行为识别方法。
CN202010944370.6A 2020-09-10 2020-09-10 目标对象异常行为识别方法、装置、终端及存储介质 Active CN111814775B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010944370.6A CN111814775B (zh) 2020-09-10 2020-09-10 目标对象异常行为识别方法、装置、终端及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010944370.6A CN111814775B (zh) 2020-09-10 2020-09-10 目标对象异常行为识别方法、装置、终端及存储介质

Publications (2)

Publication Number Publication Date
CN111814775A CN111814775A (zh) 2020-10-23
CN111814775B true CN111814775B (zh) 2020-12-11

Family

ID=72860749

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010944370.6A Active CN111814775B (zh) 2020-09-10 2020-09-10 目标对象异常行为识别方法、装置、终端及存储介质

Country Status (1)

Country Link
CN (1) CN111814775B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112651308A (zh) * 2020-12-14 2021-04-13 北京市商汤科技开发有限公司 对象识别追踪的方法、装置、电子设备和存储介质
CN113096808A (zh) * 2021-04-23 2021-07-09 深圳壹账通智能科技有限公司 事件提示方法、装置、计算机设备及存储介质
CN113378733A (zh) * 2021-06-17 2021-09-10 杭州海亮优教教育科技有限公司 一种构建情感日记和日常活动识别的***及装置
CN113408435B (zh) * 2021-06-22 2023-12-05 华侨大学 一种安全监控方法、装置、设备和存储介质
CN113408495B (zh) * 2021-07-30 2021-11-05 广州汇图计算机信息技术有限公司 一种用于安保的安全警备***
CN113627330B (zh) * 2021-08-10 2024-05-14 北京百度网讯科技有限公司 识别目标类型动态图像的方法、装置及电子设备
CN113673495B (zh) * 2021-10-25 2022-02-01 北京通建泰利特智能***工程技术有限公司 一种基于神经网络的智慧安防方法、***和可读存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102201061A (zh) * 2011-06-24 2011-09-28 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控***及方法
CN103297751A (zh) * 2013-04-23 2013-09-11 四川天翼网络服务有限公司 智慧天网视频行为分析***
CN105653690A (zh) * 2015-12-30 2016-06-08 武汉大学 异常行为预警信息约束的视频大数据快速检索方法及***
CN108596028A (zh) * 2018-03-19 2018-09-28 昆明理工大学 一种基于视频录像中的异常行为检测算法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN110135246A (zh) * 2019-04-03 2019-08-16 平安科技（深圳）有限公司 一种人体动作的识别方法及设备
CN111353426A (zh) * 2020-02-28 2020-06-30 山东浪潮通软信息科技有限公司 异常行为的检测方法及装置
US10706284B2 (en) * 2007-07-11 2020-07-07 Avigilon Patent Holding 1 Corporation Semantic representation module of a machine-learning engine in a video analysis system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102176222B (zh) * 2011-03-18 2013-05-01 北京科技大学 多传感器信息采集分析***及自闭症儿童监护辅助***

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10706284B2 (en) * 2007-07-11 2020-07-07 Avigilon Patent Holding 1 Corporation Semantic representation module of a machine-learning engine in a video analysis system
CN102201061A (zh) * 2011-06-24 2011-09-28 常州锐驰电子科技有限公司 基于多阶层过滤人脸识别的智能安全监控***及方法
CN103297751A (zh) * 2013-04-23 2013-09-11 四川天翼网络服务有限公司 智慧天网视频行为分析***
CN105653690A (zh) * 2015-12-30 2016-06-08 武汉大学 异常行为预警信息约束的视频大数据快速检索方法及***
CN108596028A (zh) * 2018-03-19 2018-09-28 昆明理工大学 一种基于视频录像中的异常行为检测算法
CN109460702A (zh) * 2018-09-14 2019-03-12 华南理工大学 基于人体骨架序列的乘客异常行为识别方法
CN110135246A (zh) * 2019-04-03 2019-08-16 平安科技（深圳）有限公司 一种人体动作的识别方法及设备
CN111353426A (zh) * 2020-02-28 2020-06-30 山东浪潮通软信息科技有限公司 异常行为的检测方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Real time violence detection based on deep spatio-temporal features;Xia Qing 等;《Biometric Recognition-13th Chinese Conference, CCBR 2018》;20181230;第1-2页 *
基于YOLO网络模型的异常行为检测方法研究;刘雪奇 等;《电子设计工程》;20181031;第1-2页 *

Also Published As

Publication number Publication date
CN111814775A (zh) 2020-10-23

Similar Documents

Publication Publication Date Title
CN111814775B (zh) 目标对象异常行为识别方法、装置、终端及存储介质
CN111563396A (zh) 在线识别异常行为的方法、装置、电子设备及可读存储介质
CN112447189A (zh) 语音事件检测方法、装置、电子设备及计算机存储介质
CN112016905B (zh) 基于审批流程的信息展示方法、装置、电子设备及介质
CN111695594A (zh) 图像类别识别方法、装置、计算机设备及介质
CN111949708A (zh) 基于时序特征提取的多任务预测方法、装置、设备及介质
CN111696663A (zh) 疾病风险的分析方法、装置、电子设备及计算机存储介质
CN112634017A (zh) 远程开卡激活方法、装置、电子设备及计算机存储介质
CN112686232B (zh) 基于微表情识别的教学评价方法、装置、电子设备及介质
CN114022841A (zh) 人员监控识别方法、装置、电子设备及可读存储介质
CN113435353A (zh) 基于多模态的活体检测方法、装置、电子设备及存储介质
CN111738182A (zh) 基于图像识别的身份验证方法、装置、终端及存储介质
CN112101191A (zh) 基于边框注意力网络的表情识别方法、装置、设备及介质
CN111695445A (zh) 一种人脸识别的方法、装置、设备及计算机可读存储介质
CN113269190B (zh) 基于人工智能的数据分类方法、装置、计算机设备及介质
CN114245204A (zh) 基于人工智能的视频面签方法、装置、电子设备及介质
CN113963413A (zh) 基于人工智能的疫情排查方法、装置、电子设备及介质
CN114996386A (zh) 业务角色识别方法、装置、设备及存储介质
CN110598527B (zh) 基于机器学习的理赔保单号码识别方法及相关设备
CN110717377B (zh) 人脸驾驶风险预测模型训练及其预测方法及相关设备
CN113987351A (zh) 基于人工智能的智能推荐方法、装置、电子设备及介质
CN113869218A (zh) 人脸活体检测方法、装置、电子设备及可读存储介质
CN112686156A (zh) 一种情绪监测方法、装置、计算机设备及可读存储介质
CN113221990A (zh) 信息录入方法、装置及相关设备
CN111814649B (zh) 基于人工智能的客服表情演练方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant