CN113111808B - 基于机器视觉的异常行为检测方法及*** - Google Patents

基于机器视觉的异常行为检测方法及*** Download PDF

Info

Publication number
CN113111808B
CN113111808B CN202110423830.5A CN202110423830A CN113111808B CN 113111808 B CN113111808 B CN 113111808B CN 202110423830 A CN202110423830 A CN 202110423830A CN 113111808 B CN113111808 B CN 113111808B
Authority
CN
China
Prior art keywords
limb
key points
boundary
frame
abnormal behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110423830.5A
Other languages
English (en)
Other versions
CN113111808A (zh
Inventor
王德强
焦广超
郑来波
王鸣天
李晓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202110423830.5A priority Critical patent/CN113111808B/zh
Publication of CN113111808A publication Critical patent/CN113111808A/zh
Application granted granted Critical
Publication of CN113111808B publication Critical patent/CN113111808B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开一种基于机器视觉的异常行为检测方法及***，包括：提取每帧视频图像中的肢体关键点；根据相邻两帧图像中同一肢体关键点的移动距离和两帧图像之间的时间差，得到肢体关键点的运动速度；根据单位时间内每帧图像中两个肢体关键点的距离序列通过快速傅里叶变换得到两个肢体关键点间的运动频率；根据肢体关键点坐标与划定的可活动区域边界判断是否越界；根据肢体关键点的运动速度、运动频率和是否越界判断是否存在异常行为。实时检测异常行为并进行预警，提高智能化水平。

Description

基于机器视觉的异常行为检测方法及***
技术领域
本发明涉及智能监控技术领域，特别是涉及一种基于机器视觉的异常行为检测方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
随着科技的进步，传统的会见模式出现了远程电话或远程视频等模式，而在视频过程中，视频人员出现情绪波动、攻击行为、突发疾病等情形时，若没有被及时查看或关注，容易存在各种的风险和隐患；监控录像虽然一定程度上起到辅助管控的作用，但发生风险隐患时证据记录和回溯取证效率低。
发明内容
为了解决上述问题，本发明提出了一种基于机器视觉的异常行为检测方法及***，利用深度神经网络模型提取视频图像中肢体关键点的坐标信息，根据关键点坐标计算关键点运动速度，利用快速傅里叶变换计算关键点运动频率，根据关键点坐标判断是否跨越规定边界，最后根据关键点运动速度、运动频率和是否跨越规定边界，得到异常行为检测结果，并根据检测结果进行预警。
为了实现上述目的，本发明采用如下技术方案：
第一方面，本发明提供一种基于机器视觉的异常行为检测方法，包括：
提取每帧视频图像中的肢体关键点；
根据相邻两帧图像中同一肢体关键点的移动距离和两帧图像之间的时间差，得到肢体关键点的运动速度；
根据单位时间内每帧图像中两个肢体关键点的距离序列通过快速傅里叶变换得到两个肢体关键点间的运动频率；
根据肢体关键点坐标与划定的可活动区域边界判断是否越界；
根据肢体关键点的运动速度、运动频率和是否越界判断是否存在异常行为。
作为可选择的实施方式，所述肢体关键点的运动速度的计算过程包括：利用左腕和右腕的移动距离和相邻两帧图像之间时间差，分别计算左腕和右腕的运动速度，左腕和右腕的运动速度均采用如下公式计算：
Figure RE-GDA0003080067290000021
其中，Vi,n表示第i帧左腕(或右腕)的运动速度，(xi,n，yi,n)表示第i帧左腕(或右腕)的坐标值，(xi-1,n，yi-1,n)表示第i-1帧左腕(或右腕)的坐标值，(xi,6，yi,6)表示第i帧左肩的坐标值，(xi,7，yi,7)表示第i帧右肩的坐标值，tT表示前后两帧图像之间时间差。
作为可选择的实施方式，每帧图像中两个肢体关键点的距离采用如下公式计算：
Figure RE-GDA0003080067290000022
其中，Li,p,q表示第i帧第p和第q两个肢体关键点的欧氏距离，(xi,p,yi,p)表示第p个肢体关键点的坐标值，(xi,q,yi,q)表示第q个肢体关键点的坐标值；
作为可选择的实施方式，两个肢体关键点间的运动频率的计算过程包括：在单位时间内，按先后顺序将所有N个图像帧中两个关键点p和q之间的距离Li,p,q组成长度为N的时间序列Qp,q＝(Li,p,q,Li+1,p,q,...,Li+N-1,p,q)，对时间序列Qp,q做N 点快速傅里叶变换，在变换结果中去除直流分量，剩余分量中幅度最大的分量对应的频率为运动频率。
作为可选择的实施方式，判断是否存在异常行为的过程包括：预设运动速度阈值和肢体超速次数阈值，将左腕和右腕的运动速度与运动速度阈值进行比较，若运动速度超过运动速度阈值，则记录肢体超速一次，在单位时间内若肢体超速次数超过阈值，则判断为存在异常行为。
作为可选择的实施方式，判断是否存在异常行为的过程包括：预设运动频率阈值，将单位时间内肢体关键点间的运动频率与运动频率阈值进行比较，若至少有一组肢体关键点之间运动频率超过运动频率阈值，则判断为存在异常行为。
作为可选择的实施方式，判断是否存在异常行为的过程包括：预设可活动区域边界，将鼻子的坐标值与可活动区域边界进行比较，若越过可活动区域边界则判断为存在异常行为。
第二方面，本发明提供一种基于机器视觉的异常行为检测***，包括：
关键点提取模块，被配置为提取每帧视频图像中的肢体关键点；
运动速度计算模块，被配置为根据相邻两帧图像中同一肢体关键点的移动距离和两帧图像之间的时间差，得到肢体关键点的运动速度；
运动频率计算模块，被配置为根据单位时间内每帧图像中两个肢体关键点的距离序列通过快速傅里叶变换得到两个肢体关键点间的运动频率；
越界判断模块，被配置为根据肢体关键点坐标与划定的可活动区域边界判断是否越界；
异常行为判断模块，被配置为根据肢体关键点的运动速度、运动频率和是否越界判断是否存在异常行为。
第三方面，本发明提供一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成第一方面所述的方法。
第四方面，本发明提供一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
与现有技术相比，本发明的有益效果为：
本发明结合会见视频提出一种基于机器视觉的异常行为检测方法及***，实时检测人的异常行为并进行预警，有利于降低人力的投入和工作强度，提升智能化水平。
本发明基于视频的异常行为检测方法中，利用深度神经网络模型提取视频图像中人体关键点的坐标信息，根据关键点坐标计算关键点运动速度，利用快速傅里叶变换计算关键点运动频率，判断关键点坐标点是否跨越划定的可活动区域边界，根据关键点运动速度、运动频率和是否越界的综合判断是否发生异常行为并进行潜在风险预警。
本发明利用深度学习和信号处理技术相结合进行异常行为检测，该方法准确性高，运算速度快。
本发明利用神经网络模型获取人体关键点坐标，该模型可以根据最新的研究进展随时更换运算速度更快、准确度更高的模型，灵活性强，有利于后期升级。
本发明充分利用关键点坐标信息判断关键点的速度状态，是异常行为检测的重要特征。
本发明运用信号处理技术中的快速傅里叶变换，分析得到关键点的运行频率，将深度学习和信号处理相结合为异常行为检测提供新方法。
本发明将关键点运动速度、关键点运动频率和关键点坐标是否跨越划定区域边界进行综合判断，当出现诸如反复手拍桌子、手打头部、手捶胸口等异常行为时***进行预警。
相比较单一行为特征对异常行为检测的方法，本发明方法的正确性有所提高，具有很好的应用价值。
本发明附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1为本发明实施例1提供的基于机器视觉的异常行为检测方法流程图。
具体实施方式：
下面结合附图与实施例对本发明做进一步说明。
应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
实施例1
如图1所示，本实施例提供一种基于机器视觉的异常行为检测方法，包括：
S1：提取每帧视频图像中的肢体关键点坐标；
S2：根据相邻两帧图像中同一肢体关键点的移动距离和两帧图像之间的时间差，得到肢体关键点的运动速度；
S3：根据单位时间内每帧图像中两个肢体关键点的距离序列通过快速傅里叶变换得到两个肢体关键点间的运动频率；
S4：根据肢体关键点坐标与划定的可活动区域边界判断是否越界；
S5：根据肢体关键点的运动速度、运动频率和是否越界判断是否存在异常行为。
在步骤S1中，所述视频图像的获取过程为：通过摄像头实时获取的视频图像。
在步骤S1中，还包括对获取的每帧视频图像进行标准化预处理，并将视频图像大小裁剪成神经网络要求的输入尺寸；
优选地，所述标准化预处理包括，将视频图像的RGB三个通道分别减去均值，然后除以方差后完成标准化，加速模型的收敛速度；
优选地，将标准化后的视频图像的像素值调整到规定大小；本实施例采用 SimpleBaselines模型进行肢体关键点检测，所以需将视频图像像素值调整成192 ×256。
在步骤S1中，将上述处理后的视频图像输入到肢体关键点神经网络模型中，得到肢体关键点的坐标值；本实施例采用Simple Baselines模型，得到上半身11 个肢体关键点的坐标值，包括鼻子、双眼、双耳、双肩、双肘、双腕；
在步骤S2中，根据相邻两帧图像中肢体关键点坐标，具体的是利用左腕和右腕的移动距离和两帧图像之间时间差，分别计算左腕和右腕的运动速度；
具体地，用双肩的欧氏距离作为衡量移动距离的标尺，运动速度计算公式为：
Figure RE-GDA0003080067290000071
其中，Vi,n表示第i帧左腕(或右腕)的运动速度，(xi,n，yi,n)表示第i帧左腕(或右腕)的坐标值，(xi-1,n，yi-1,n)表示第i-1帧左腕(或右腕)的坐标值，(xi,6，yi,6)表示第i帧左肩的坐标值，(xi,7，yi,7)表示第i帧右肩的坐标值，tT表示前后两帧图像之间时间差。
在步骤S3中，每帧图像中两个肢体关键点的距离，具体的是左腕与左耳、左腕与右肩、右腕与右耳、右腕与左肩四组肢体关键点之间的距离，在单位时间内，按图像帧先后顺序将计算得到的四组肢体关键点间的距离分别组成时间序列，通过快速傅里叶变换分别计算四组肢体关键点之间运动频率；
在步骤S3中，所述四组肢体关键点之间的距离计算公式为：
Figure RE-GDA0003080067290000081
其中，Li,p,q表示第i帧第p和第q两个肢体关键点的欧氏距离，(xi,p,yi,p)表示第p个肢体关键点的坐标值，(xi,q,yi,q)表示第q个肢体关键点的坐标值；
在步骤S3中，所述单位时间是指某个整数秒的时间片段；
在步骤S3中，所述按图像帧先后顺序将计算得到的四组肢体关键点间的距离分别组成时间序列的过程，具体包括，单位时间内关键点p和q之间的距离Li,p,q组成的时间序列可以表示为Qp,q＝(Li,p,q,Li+1,p,q,...,Li+N-1,p,q)，其中，N表示单位时间内图像帧的数量；
在步骤S3中，所述通过快速傅里叶变换分别计算四组肢体关键点之间运动频率的过程，具体包括，对关键点p和q之间的距离Qp,q做N点快速傅里叶变换，在变换结果中去除直流分量，剩余分量中幅度(绝对值)最大的分量对应的频率即为运动频率。
在步骤S4中，根据每帧图像中鼻子的坐标与划定的可活动区域边界，判断是否越界；
其中，所述可活动区域是指视频图像中预设的一个矩形，四个顶点有明确的坐标值；
所述越界是指鼻子的坐标不在可活动区域对应的矩形内。
在步骤S5中，根据左右腕的运动速度、四组关键点之间的运动频率和是否越界，判断是否存在异常行为并进行报警；具体地：设定运动速度阈值和肢体超速次数阈值，将左右腕的运动速度与运动速度阈值进行比较，若左右腕运动速度超过运动速度阈值，则记录肢体超速一次，在单位时间内肢体超速次数超过阈值，则判断为异常行为；设定运动频率阈值，将单位时间内四组关键点之间运动频率与运动频率阈值进行比较，若超过运动频率阈值，则判断为异常行为；将鼻子坐标与可活动区域边界进行比较，若超出可活动区域边界一次则判断为异常行为；根据上述判断结果，若出现异常行为，则发出报警信息。
本实施例利用深度学习和信号处理技术相结合的异常行为检测方法，该方法准确性高，运算速度快，将基于视频的异常行为检测方法运用到对人员行为的管理中，相比传统人工能够得到更准确的人员行为信息。
实施例2
本实施例提供一种基于机器视觉的异常行为检测***，包括：
关键点提取模块，被配置为提取每帧视频图像中的肢体关键点；
运动速度计算模块，被配置为根据相邻两帧图像中同一肢体关键点的移动距离和两帧图像之间的时间差，得到肢体关键点的运动速度；
运动频率计算模块，被配置为根据单位时间内每帧图像中两个肢体关键点的距离序列通过快速傅里叶变换得到两个肢体关键点间的运动频率；
越界判断模块，被配置为根据肢体关键点坐标与划定的可活动区域边界判断是否越界；
异常行为判断模块，被配置为根据肢体关键点的运动速度、运动频率和是否越界判断是否存在异常行为。
此处需要说明的是，上述模块对应于实施例1中所述的步骤，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为***的一部分可以在诸如一组计算机可执行指令的计算机***中执行。
在更多实施例中，还提供：
一种电子设备，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成实施例1中所述的方法。为了简洁，在此不再赘述。
应理解，本实施例中，处理器可以是中央处理单元CPU，处理器还可以是其他通用处理器、数字信号处理器DSP、专用集成电路ASIC，现成可编程门阵列FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例1中所述的方法。
实施例1中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元即算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
上述虽然结合附图对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于机器视觉的异常行为检测方法，其特征在于，包括：
提取每帧视频图像中的肢体关键点；
根据相邻两帧图像中同一肢体关键点的移动距离和两帧图像之间的时间差，得到肢体关键点的运动速度；
根据单位时间内每帧图像中两个肢体关键点的距离序列通过快速傅里叶变换得到两个肢体关键点间的运动频率；
根据肢体关键点坐标与划定的可活动区域边界判断是否越界；
根据肢体关键点的运动速度、运动频率和是否越界判断是否存在异常行为。
2.如权利要求1所述的一种基于机器视觉的异常行为检测方法，其特征在于，所述肢体关键点的运动速度的计算过程包括：利用左腕和右腕的移动距离和相邻两帧图像之间时间差，分别计算左腕和右腕的运动速度，左腕和右腕的运动速度均采用如下公式计算：
Figure FDA0003496600020000011
其中，Vi,n表示第i帧左腕或右腕的运动速度，(xi,n，yi,n)表示第i帧左腕或右腕的坐标值，(xi-1,n，yi-1,n)表示第i-1帧左腕或右腕的坐标值，(xi,6，yi,6)表示第i帧左肩的坐标值，(xi,7，yi,7)表示第i帧右肩的坐标值，tT表示前后两帧图像之间时间差。
3.如权利要求1所述的一种基于机器视觉的异常行为检测方法，其特征在于，每帧图像中两个肢体关键点的距离采用如下公式计算：
Figure FDA0003496600020000012
其中，Li,p,q表示第i帧第p和第q两个肢体关键点的欧氏距离，(xi,p,yi,p)表示第p个肢体关键点的坐标值，(xi,q,yi,q)表示第q个肢体关键点的坐标值。
4.如权利要求1所述的一种基于机器视觉的异常行为检测方法，其特征在于，两个肢体关键点间的运动频率的计算过程包括：在单位时间内，按先后顺序将所有N个图像帧中两个关键点p和q之间的距离Li,p,q组成长度为N的时间序列Qp,q＝(Li,p,q,Li+1,p,q,...,Li+N-1,p,q)，其中，Li,p,q表示第i帧第p和第q两个肢体关键点的欧氏距离，对时间序列Qp,q做N点快速傅里叶变换，在变换结果中去除直流分量，剩余分量中幅度最大的分量对应的频率为运动频率。
5.如权利要求1所述的一种基于机器视觉的异常行为检测方法，其特征在于，判断是否存在异常行为的过程包括：预设运动速度阈值和肢体超速次数阈值，将左腕和右腕的运动速度与运动速度阈值进行比较，若运动速度超过运动速度阈值，则记录肢体超速一次，在单位时间内若肢体超速次数超过阈值，则判断为存在异常行为。
6.如权利要求1所述的一种基于机器视觉的异常行为检测方法，其特征在于，判断是否存在异常行为的过程包括：预设运动频率阈值，将单位时间内肢体关键点间的运动频率与运动频率阈值进行比较，若至少有一组肢体关键点之间运动频率超过运动频率阈值，则判断为存在异常行为。
7.如权利要求1所述的一种基于机器视觉的异常行为检测方法，其特征在于，判断是否存在异常行为的过程包括：预设可活动区域边界，将鼻子的坐标值与可活动区域边界进行比较，若越过可活动区域边界则判断为存在异常行为。
8.一种基于机器视觉的异常行为检测***，其特征在于，包括：
关键点提取模块，被配置为提取每帧视频图像中的肢体关键点；
运动速度计算模块，被配置为根据相邻两帧图像中同一肢体关键点的移动距离和两帧图像之间的时间差，得到肢体关键点的运动速度；
运动频率计算模块，被配置为根据单位时间内每帧图像中两个肢体关键点的距离序列通过快速傅里叶变换得到两个肢体关键点间的运动频率；
越界判断模块，被配置为根据肢体关键点坐标与划定的可活动区域边界判断是否越界；
异常行为判断模块，被配置为根据肢体关键点的运动速度、运动频率和是否越界判断是否存在异常行为。
9.一种电子设备，其特征在于，包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令，所述计算机指令被处理器运行时，完成权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-7任一项所述的方法。
CN202110423830.5A 2021-04-20 2021-04-20 基于机器视觉的异常行为检测方法及*** Active CN113111808B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110423830.5A CN113111808B (zh) 2021-04-20 2021-04-20 基于机器视觉的异常行为检测方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110423830.5A CN113111808B (zh) 2021-04-20 2021-04-20 基于机器视觉的异常行为检测方法及***

Publications (2)

Publication Number Publication Date
CN113111808A CN113111808A (zh) 2021-07-13
CN113111808B true CN113111808B (zh) 2022-03-29

Family

ID=76718857

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110423830.5A Active CN113111808B (zh) 2021-04-20 2021-04-20 基于机器视觉的异常行为检测方法及***

Country Status (1)

Country Link
CN (1) CN113111808B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576491B (zh) * 2024-01-17 2024-04-26 浙江新再灵科技股份有限公司 电梯门故障检测方法、电梯门故障发生率预测方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518710A (zh) * 2015-04-30 2016-04-20 北京旷视科技有限公司 视频检测方法、视频检测***以及计算机程序产品
CN108564599A (zh) * 2018-04-08 2018-09-21 广东省智能制造研究所 一种人体运动速度估计方法
CN109325476A (zh) * 2018-11-20 2019-02-12 齐鲁工业大学 一种基于三维视觉的人体异常姿态检测***及方法
CN109508736A (zh) * 2018-10-30 2019-03-22 航天信息股份有限公司 一种基于深度学习的监狱异常情况监测方法及监测***
CN110147736A (zh) * 2019-04-25 2019-08-20 沈阳航空航天大学 一种基于姿态的重复异常行为检测方法
CN110738095A (zh) * 2019-08-23 2020-01-31 珠海格力电器股份有限公司 一种行为分析方法及装置
CN112528763A (zh) * 2020-11-24 2021-03-19 浙江大华汽车技术有限公司 一种目标检测方法、电子设备和计算机存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1766555B1 (en) * 2004-06-21 2010-08-04 Google Inc. Single image based multi-biometric system and method
CN105912986B (zh) * 2016-04-01 2019-06-07 北京旷视科技有限公司 一种活体检测方法和***

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105518710A (zh) * 2015-04-30 2016-04-20 北京旷视科技有限公司 视频检测方法、视频检测***以及计算机程序产品
CN108564599A (zh) * 2018-04-08 2018-09-21 广东省智能制造研究所 一种人体运动速度估计方法
CN109508736A (zh) * 2018-10-30 2019-03-22 航天信息股份有限公司 一种基于深度学习的监狱异常情况监测方法及监测***
CN109325476A (zh) * 2018-11-20 2019-02-12 齐鲁工业大学 一种基于三维视觉的人体异常姿态检测***及方法
CN110147736A (zh) * 2019-04-25 2019-08-20 沈阳航空航天大学 一种基于姿态的重复异常行为检测方法
CN110738095A (zh) * 2019-08-23 2020-01-31 珠海格力电器股份有限公司 一种行为分析方法及装置
CN112528763A (zh) * 2020-11-24 2021-03-19 浙江大华汽车技术有限公司 一种目标检测方法、电子设备和计算机存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Smart Monitoring Cameras Driven Intelligent Processing to Big Surveillance Video Data";Zhenfeng Shao 等;《 IEEE Transactions on Big Data》;20180501;第4卷(第1期);第105-116页 *
"基于三维骨架序列的人体行为识别研究";姜新波;《中国优秀博硕士学位论文全文数据库(博士)信息科技辑》;20160415(第4期);全文 *

Also Published As

Publication number Publication date
CN113111808A (zh) 2021-07-13

Similar Documents

Publication Publication Date Title
EP3574828B1 (en) Monitoring the performance of physical exercises
WO2020215552A1 (zh) 多目标跟踪方法、装置、计算机设备及存储介质
Sawant et al. Real time sign language recognition using pca
CN107451568A (zh) 使用深度卷积神经网络的姿态检测方法及设备
CN113191699A (zh) 一种配电施工现场***方法
CN110263603B (zh) 基于中心损失和残差视觉仿真网络的人脸识别方法及装置
CN107194361A (zh) 二维姿势检测方法及装置
CN114937232B (zh) 医废处理人员防护用具穿戴检测方法、***和设备
CN111444555B (zh) 一种测温信息显示方法、装置及终端设备
CN110414400A (zh) 一种施工现场安全帽穿戴自动检测方法及***
CN111062303A (zh) 图像处理方法、***及计算机存储介质
CN113111808B (zh) 基于机器视觉的异常行为检测方法及***
CN111460988A (zh) 一种违规行为识别方法及装置
CN108921010B (zh) 一种瞳孔检测方法及检测装置
CN114998830A (zh) 一种变电站人员安全帽佩戴检测方法及***
CN114550027A (zh) 基于视觉的运动视频精细分析方法和装置
CN112633221A (zh) 一种人脸方向的检测方法及相关装置
Kai et al. Wearing safety helmet detection in substation
CN114758414A (zh) 行人行为的检测方法、装置、设备及计算机存储介质
CN112733677B (zh) 一种人流量统计***及方法
Suzuki et al. Automatic fault detection in race walking from a smartphone camera via fine-tuning pose estimation
CN117523456A (zh) 异常行为识别方法、装置、非易失性存储介质及电子设备
CN115909400A (zh) 一种用于低分辨率监控场景中使用手机行为的识别方法
US20210166012A1 (en) Information processing apparatus, control method, and non-transitory storage medium
CN114445898B (zh) 人脸活体检测方法、装置、设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant