CN111563492B - 一种跌倒检测方法、跌倒检测装置及存储装置 - Google Patents

一种跌倒检测方法、跌倒检测装置及存储装置 Download PDF

Info

Publication number
CN111563492B
CN111563492B CN202010677038.8A CN202010677038A CN111563492B CN 111563492 B CN111563492 B CN 111563492B CN 202010677038 A CN202010677038 A CN 202010677038A CN 111563492 B CN111563492 B CN 111563492B
Authority
CN
China
Prior art keywords
human body
joint
joint point
neural network
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010677038.8A
Other languages
English (en)
Other versions
CN111563492A (zh
Inventor
赵雷
魏乃科
潘华东
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010677038.8A priority Critical patent/CN111563492B/zh
Publication of CN111563492A publication Critical patent/CN111563492A/zh
Application granted granted Critical
Publication of CN111563492B publication Critical patent/CN111563492B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种跌倒检测方法、跌倒检测装置及存储装置，该跌倒检测方法包括：获取视频数据中的人体子图；将人体子图输入关节点检测神经网络，获得人体子图中多个关节点对应的第一关节点热度图；将第一关节点热度图叠加到人体子图经关节点检测神经网络中的卷积模块处理后的第一特征图上，得到第二特征图；将第二特征图输入跌倒检测神经网络，获得跌倒分析结果。通过上述方式，本申请能够增强关节点的特征信息并结合人体子图中部分背景信息来判断图像中的人是否跌倒，提高分析结果的准确性。

Description

一种跌倒检测方法、跌倒检测装置及存储装置
技术领域
本申请涉及人体状态识别技术领域，特别是涉及一种跌倒检测方法、跌倒检测装置及存储装置。
背景技术
随着我国人口老龄化日趋严重，由于老人的身体机能退化，其在生活中更容易因为不小心而跌倒，老人跌倒常常会导致骨折乃至脑溢血等严重后果，及时发现跌倒的老人并对其进行救治可将损害降到最低。
传统的跌倒检测方法中，比如：穿戴式的检测设备，给老人带来了很大不便并且设备自身的重量还可能增加老人跌倒的风险，而基于摄像头所拍摄的视频进行姿态分析的方法，也存在分析结果不够准确的问题。
发明内容
本申请主要解决的技术问题是提供一种跌倒检测方法、跌倒检测装置及存储装置，能够增强关节点的特征信息并结合人体子图中部分背景信息来判断图像中的人是否跌倒，提高分析结果的准确性。
为解决上述技术问题，本申请采用的一个技术方案是：提供一种跌倒检测方法，该方法包括：获取视频数据中的人体子图；将所述人体子图输入关节点检测神经网络，获得所述人体子图中多个关节点对应的第一关节点热度图；将所述第一关节点热度图叠加到所述人体子图经所述关节点检测神经网络中的卷积模块处理后的第一特征图上，得到第二特征图；将所述第二特征图输入跌倒检测神经网络，获得跌倒分析结果。
其中，所述关节点检测神经网络通过以下步骤获得：在第一样本图像上标注关节点的位置；将所述第一样本图像输入关节点初始神经网络，以使所述第一样本图像经所述初始神经网络的多个卷积模块和反卷积模块后输出一组第二关节点热度图；利用二维高斯函数以每个所述关节点的中心通过计算生成一组第三关节点热度图；利用损失函数计算所述第二关节点热度图相对于所述第三关节点热度图的损失值，进而根据所述损失值对所述卷积模块和所述反卷积模块的参数进行迭代优化。
其中，所述在第一样本图像上标注关节点的位置，包括：在所述第一样本图像上标注人体的多个位置的关节点，对于所述人体的头部，以所述头部的关节点的中心作为头部关节点。
其中，所述利用二维高斯函数以每个所述关节点的中心通过计算生成一组第三关节点热度图，之前，包括：将所述第一样本图像上被标注的所述关节点的分辨率，调整至与所述第二关节点热度图相同。
其中，所述获取视频数据中的人体子图，包括：获取视频数据中的单帧图像，识别出所述单帧图像上的人体目标；利用跟踪算法对所述人体目标进行跟踪，在所述人体目标上生成相应的标识和目标框；截取所述目标框内的图像数据，生成对应有所述标识的所述人体子图。
其中，所述将所述人体子图输入关节点检测神经网络，获得所述人体子图中多个关节点对应的第一关节点热度图，包括：将所述人体子图输入所述关节点检测神经网络，所述人体子图经所述关节点检测神经网络中多个级联的卷积模块，得到多个所述关节点的第三特征图，进而所述第三特征图经所述关节点检测神经网络中多个级联的反卷积模块，得到多个所述关节点对应的所述第一关节点热度图。
其中，所述将所述第一关节点热度图叠加到所述人体子图经所述关节点检测神经网络中的卷积模块处理后的第一特征图上，得到第二特征图，包括：将多个所述关节点对应的所述第一关节点热度图按照空间位置合并，得到关节点热度总图；提取所述人体子图经所述关节点检测神经网络中的卷积模块处理后的第一特征图；将所述关节点热度总图与所述第一特征图按照空间位置合并，得到所述第二特征图。
其中，所述将所述关节点热度总图与所述第一特征图按照空间位置合并，得到所述第二特征图，之前，包括：将所述关节点热度总图的分辨率调整至与所述第一特征图的分辨率相同。
其中，所述将所述第二特征图输入跌倒检测神经网络，获得跌倒分析结果，包括：将所述第二特征图输入所述跌倒检测神经网络，所述第二特征图经所述跌倒检测神经网络中多个级联的卷积模块，得到第四特征图，进而所述第四特征图经所述跌倒检测神经网络中池化模块，得到第五特征图，分析所述第五特征图输出跌倒分析结果。
其中，所述将所述第二特征图输入跌倒检测神经网络，获得跌倒分析结果，之后，包括：获取第一时间阈值内第一数量的单帧图像中，同一所述标识对应的人体子图中的人体目标的跌倒分析结果；若第一时间阈值内，所述同一所述标识对应的人体子图中的人体目标的跌倒分析结果为跌倒的数量，大于所述第一数量与第一报警阈值的乘积，则判定所述同一所述标识对应的人体子图中的人体目标出现跌倒。
为解决上述技术问题，本申请采用的另一个技术方案是：提供一种跌倒检测装置，该跌倒检测装置包括：存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以实现上述跌倒检测方法。
为解决上述技术问题，本申请采用的又一个技术方案是：提供一种具有存储功能的装置，其上存储有程序数据，所述程序数据被处理器执行时实现上述跌倒检测方法。
本申请的有益效果是：本申请利用关节点检测神经网络得到第一关节点热度图，并将其叠加在经关节点检测神经网络中的卷积模块处理后的第一特征图上获得第二特征图，使第二特征图上人体的关节点特征信息得到加强，结合关节点信息可更准确地判断人体当前的姿态，提高分析结果的准确性，并且，利用跌倒检测神经网对第二特征图像分析时，第二特征图像上包括关节点特征信息以及背景信息，可更准确地判断出图像上的人体是否处于跌倒状态，提升跌倒识别的鲁棒性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请跌倒检测方法一实施方式的流程示意图；
图2是图1中步骤S101对应的一实施方式的流程示意图；
图3a是图2中步骤S201对应的单帧图像一实施方式的示意图；
图3b是图2中步骤S202对应的单帧图像一实施方式的示意图；
图3c是图2中步骤S202对应的单帧图像一实施方式的示意图；
图4是训练图1中步骤S102中关节点检测神经网络一实施方式的流程示意图；
图5是图1中步骤S102-104对应的***一实施方式的结构示意图；
图6是图1中步骤S103对应的一实施方式的流程示意图；
图7是本申请跌倒检测装置一实施方式的结构示意图；
图8是本申请具有存储功能的装置一实施方式的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本文中术语“***”和“网络”在本文中常被可互换使用。本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。
请参阅图1，图1是本申请跌倒检测方法一实施方式的流程示意图，该方法包括：
步骤S101：获取视频数据中的人体子图。
具体地，对于摄像机所拍摄的视频数据中，抽取视频数据中的单帧图像数据，将该单帧图像数据中的每个人体对应的部分图像提取出来，生成人体子图。
在一实施场景中，请参阅图2，图2是图1中步骤S101对应的一实施方式的流程示意图，步骤S101具体包括：
步骤S201：获取视频数据中的单帧图像，识别出单帧图像上的人体目标。
具体地，请参阅图3a，图3a是图2中步骤S201对应的单帧图像一实施方式的示意图，图3a仅仅是示意性的，并非摄像机所拍摄的真实图像。在获取摄像机上传的视频数据后，抽取视频数据中的一帧图像，对该帧图像利用人体目标检测器将图像中人体检测出来，该人体目标检测器经过预先的训练学习，能够识别出图像上的人体目标，将图像上的人体及人体附近的区域作为图像上的感兴趣区域。
步骤S202：利用跟踪算法对人体目标进行跟踪，在人体目标上生成相应的标识和目标框。
具体地，请参阅图3b，图3b是图2中步骤S202对应的单帧图像一实施方式的示意图，在实际生活中，跌倒是一个连续的过程，为了判断一段时间内某个人是否发生跌倒，需要对一段时间内的同一人体目标进行追踪，利用基于滤波的跟踪算法(如：KCF、CN、DSST)或基于深度学习的跟踪算法(如：DLT、FCNT)对人体目标进行跟踪，在人体目标上生成目标的标识以及目标框，不同的跟踪算法有各自的标识方式，图3b中仅仅是示意性地以1-4来做标识，并用框线来表示目标框，对于视频数据中的多帧图像上的同一个人，在此人离开视频监控范围之前的时间内，跟踪算法对同一个人体目标的标识保持不变，以此对同一个人进行追踪。
步骤S203：截取目标框内的图像数据，生成对应有标识的人体子图。
具体地，请参阅图3c，图3c是图2中步骤S202对应的单帧图像一实施方式的示意图，将目标框内的图像截取出来，获得包含人体以及临近人体的背景信息的人体子图，该人体子图上的人体对应有相应的标识。对于连续的多帧图像上，同一人体的人体子图的标识相同，将出现在视频数据中的人标识出来并进行跟踪，以便对设有同一标识的同一个人的人体子图进行分析，获得整个过程的跌倒分析结果。
步骤S102：将人体子图输入关节点检测神经网络，获得人体子图中多个关节点对应的第一关节点热度图。
具体地，请参阅图4，图4是训练图1中步骤S102中关节点检测神经网络一实施方式的流程示意图，训练该关节点检测神经网络具体包括：
步骤S301：在第一样本图像上标注关节点的位置。
具体地，准备大量的各种姿态的人体图像作为第一样本图来训练关节点检测神经网络，在第一样本图像上标注出人体上重要的关节点的位置。
在一实施场景中，在第一样本图像的人体上，标注出左右眼、鼻子、左右耳、左右肩、左右手肘、左右手腕、左右膝盖以及左右脚踝共计15个关节点的位置。
在另一实施场景中，在第一样本图像上标注人体的多个位置的关节点，对于人体的头部，以头部的关节点的中心作为头部关节点。将上述实施场景的15个关节点标注之后，对于第一图像上人体头部的关节点做进一步简化，由于头部的5个关节点较为密集且对于跌倒识别的影响不大，将头部的5个关节点的中心作为新的头部关节点，在不影响分析结果的前提下简化模型，减少神经网络的处理量，其计算方法如下：
Figure GDA0002720331060000061
其中，
Figure GDA0002720331060000062
表示新的头部关节点，Ki(x,y)表示属于头部的左右眼、鼻子以及左右耳5个点。
步骤S302：将第一样本图像输入关节点初始神经网络，以使第一样本图像经初始神经网络的多个卷积模块和反卷积模块后输出一组第二关节点热度图。
具体地，请结合参阅图5，图5是图1中步骤S102-104对应的***一实施方式的结构示意图。为便于理解，图5仅仅是示意性地，具体的关节点初始神经网络设计可根据实际情况设定卷积模块和反卷积模块的数量。
在一实施场景中，关节点初始神经网络包括4个卷积模块和3个反卷积模块，并假设第一样本图像的分辨率为192×256，第一样本图像采用上述将头部的关节点合并标注的方法，共标注11个关节点，将第一样本图像输入关节点初始神经网络，其中，卷积模块用于提取图像中的特征，本实施场景中卷积模块用于提取各关节点位置处的特征，将关节点及其周围的像素单独提取出来并逐步降低关节点处图像的分辨率，第一样本图像经第一个卷积模块输出1张分辨率为48×64的图像，后续的卷积模块对图像上的关节点处特征进一步提取，经第四个卷积模块输出对应11个关节点的11张分辨率为6×8的图像，进一步地，11张关节点处的图像经反卷积模块，对图像进行上采样，在分辨率为6×8的图像的基础上在像素点之间采用基于边缘的图像插值算法或基于区域的图像插值算法***新的元素，提高11张关节点处的图像的分辨率，输出一组第二关节点热度图，即11张关节点处的热度图。
步骤S303：利用二维高斯函数以每个关节点的中心通过计算生成一组第三关节点热度图。
具体地，仍以11个关节点为例，11个关节点在原始的人体子图上有对应的坐标。二维高斯函数能够以关节点为中心，以正态分布的形式对图像进行模糊化处理，在二维空间中，二维高斯函数生成的曲面的等高线是从中心开始呈正态分布的同心圆。
具体地，对11个关节点利用下列二维高斯函数公式进行计算：
Figure GDA0002720331060000071
得到11个关节点对应的第三关节点热度图，其中，图像模糊半径为r，r2＝x2+y2，σ是正态分布的标准偏差。
需要说明的是，通常第一样本图像的分辨率大于第二关节点热度图的分辨率，在上述步骤S303之前，将第一样本图像上被标注的关节点的分辨率，调整至与第二关节点热度图相同，以使后续进行高斯函数计算时，关节点的分辨率与第二关节点热度图分辨率相同，避免因分辨率差异导致理论计算结果不能作为计算损失值的依据。
步骤S304：利用损失函数计算第二关节点热度图相对于第三关节点热度图的损失值，进而根据损失值对卷积模块和反卷积模块的参数进行迭代优化。
具体地，计算每个关节点经关节点初始神经网络输出的第二关节点热度图，和经过计算得到的第三关节点热度图上的所有像素点的欧式距离的平均值，得到关节点初始神经网络输出的图像相对于理论计算出的图像的损失值，根据损失值来调整卷积模块和反卷积模块的参数，使神经网络输出的图像逐步逼近理论计算出的图像，将大量的各种姿态的人体图像作为第一样本图像，输入当前的神经网络，对卷积模块和反卷积模块的参数进行不断的优化，最终得到训练完成的关节点检测神经网络，将参数固定，提高关节点检测神经网络进行预测的准确度。
进一步地，在获得训练完成的关节点检测神经网络后，将人体子图输入关节点检测神经网络，人体子图经关节点检测神经网络中多个级联的卷积模块，得到多个关节点的第三特征图，进而第三特征图经关节点检测神经网络中多个级联的反卷积模块，得到多个关节点对应的第一关节点热度图。
具体地，请结合参阅图5，假设人体子图的分辨率为192×256，人体子图采用上述将头部的关节点合并标注的方法，共标注11个关节点，经过图中4个级联的卷积模块后，得到11张关节点的第三特征图，该第三特征图的分辨率为6×8，第三特征图经3个级联的反卷积模块后，得到11张关节点对应的第一关节点热度图，第一关节点热度图的分辨率为48×64。通过训练完成的关节点检测神经网络，可得到人体子图上关节点对应的第一关节点热度图，该第一关节点热度图逼近利用二维高斯函数计算出的理论值。
步骤S103：将第一关节点热度图叠加到人体子图经关节点检测神经网络中的卷积模块处理后的第一特征图上，得到第二特征图。
在一实施场景中，请参阅图6，图6是图1中步骤S103对应的一实施方式的流程示意图，步骤S103具体包括：
步骤S401：将多个关节点对应的第一关节点热度图按照空间位置合并，得到关节点热度总图。
具体地，请结合参阅图5，图5中的加权特征模块用于实现步骤S401-S403，与上述实施场景对应，仍以11张关节点对应的第一关节点热度图为例，将11张关节点对应的第一关节点热度图输入一个输入通道为11，输出通道为1，卷积核大小为1×1的第一卷积层，11个关节点在原始的人体子图上对应有在人体子图上的位置，经关节点检测神经网络输出的11张关节点对应的第一关节点热度图保留有其空间位置的特征，将11张关节点对应的第一关节点热度图输入该第一卷积层后按照空间位置合并为一张图像输出，得到关节点热度总图。
可以理解的是，第一卷积层的输入通道数量与关节点标注数量相对应，在其他实施方式中可自行定义。
步骤S402：提取人体子图经关节点检测神经网络中的卷积模块处理后的第一特征图。
具体地，提取人体子图经关节点检测神经网络中的第一个卷积模块处理后的第一特征图，在图5中，经第一个卷积模块处理后的第一特征图的分辨率为48×64，由于人体子图的分辨率较高，不适合直接输入加权特征模块，经第一个卷积模块处理后，第一特征图仍具有人体子图的整体图像特征信息，并且分辨率大大降低。
步骤S403：将关节点热度总图与第一特征图按照空间位置合并，得到第二特征图。
具体地，将关节点热度总图中的关节点特征信息合并到第一特征图上后，第二特征图上人体的关节点特征信息得到加强，在后续跌倒分析时，可将关节点特征信息作为着重关注的特征，并且关节点特征信息能够增强第二特征图上人体的整体轮廓，在进行人体姿态判断时更加准确。
具体地，上述加权特征模块可用下列公式表示：
Figure GDA0002720331060000091
其中，
Figure GDA0002720331060000092
为第二特征图，
Figure GDA0002720331060000093
为第一卷积层，
Figure GDA0002720331060000094
为关节点热度总图，m为第一特征图。将
Figure GDA0002720331060000095
输入
Figure GDA0002720331060000096
并与m在空间位置上相乘得到
Figure GDA0002720331060000097
需要说明的是，图5中第一特征图与关节点热度总图的分辨率相同，在其他实施方式中，若关节点热度总图的分辨率调整至与第一特征图的分辨率不同时，在步骤S403之前需要预先将关节点热度总图的分辨率调整至与第一特征图的分辨率相同，以避免分辨率的差异导致空间位置叠加时出现位置偏差。
步骤S104：将第二特征图输入跌倒检测神经网络，获得跌倒分析结果。
具体地，跌倒检测神经网络已经过预先的训练学习，能够对输入的图像进行判断，识别图像上人体当前的状态，并结合图像上的背景信息给出单张图像上的人体是否处于跌倒状态的结论。
进一步地，将第二特征图输入跌倒检测神经网络，第二特征图经跌倒检测神经网络中多个级联的卷积模块，得到第四特征图，进而第四特征图经跌倒检测神经网络中池化模块，得到第五特征图，分析第五特征图输出跌倒分析结果。请结合参阅图5，卷积模块和池化模块的具体数量可自行设定，图5仅仅是示意性的。第二特征图上叠加有关节点特征信息以及截取的图像上的背景信息，该第二特征图经卷积模块提取特征得到第四特征图，并经过池化模块后进一步在空间范围内做维度约减，进而减少计算量和参数个数，在一定程度上防止跌倒检测神经网络过拟合，更方便优化。其中，池化模块可采用最大池化策略或均值池化策略。在经池化模块得到第五特征图后，分析第五特征图上的特征信息给出当前图像上人体是否跌倒的结论。
进一步地，在训练跌倒检测神经网络阶段，训练跌倒检测神经网络判断与直立状态类似的跌倒情景，比如：一个人跌倒后靠在身后的墙面上的状态。在截取人体子图时将目标框内的图像信息都做了截取，因此由人体子图经关节点检测神经网络的卷积模块得到的第一特征图中也包括部分背景信息，第一特征图叠加关节点热度总图后保留了背景信息，跌倒检测神经网络在判断图像中人体是否处于跌倒状态时可结合背景信息一同做判断，比如：图像中的人跌倒后头部撞击墙面但处于站立状态，但不曾晕倒的状况，此时图像中的人也需要及时救治，或者图像中的人跌倒时碰撞到桌子，顺势瘫坐在椅子上，此时图像中的人也需要及时救治，在第二特征图像上的关节点特征信息已得到加强的前提下，结合背景信息，可提高分析结果的准确性，提升整个跌倒识别的鲁棒性。
进一步地，步骤S101-S104给出了判断单帧图像上的人体是否跌倒的方法，但是，由于跌倒时一个时间段内一个连续的过程，对于单帧图像的判断可能还不够准确，在步骤S104之后，为获得一段时间内视频数据中的人体是否跌倒，获取第一时间阈值(比如：2秒、3秒、5秒等)内第一数量的单帧图像中，同一标识对应的人体子图中的人体目标的跌倒分析结果，若第一时间阈值内，同一标识对应的人体子图中的人体目标的跌倒分析结果为跌倒的数量，大于第一数量与第一报警阈值的乘积，则判定同一标识对应的人体子图中的人体目标出现跌倒。
在一实施场景中，对每2秒时间内的视频数据进行抽帧，获得其中10帧图像，10帧图像分别经过上述步骤S101-S104之后，获得10帧图像对应的跌倒分析结果，设置第一报警阈值为0.3，若10帧图像中同一标识的人体目标的跌倒判断结果大于3次，则判断该视频数据中该标识的人已经跌倒，进而及时将报警信息上报给医护人员或家人等特定处理人员。通过对一段时间内同一标识的人体目标结果的动态分析，提高对视频数据中被监控的人体进行跌倒分析时输出结果的准确性。
请参阅图7，图7是本申请跌倒检测装置一实施方式的结构示意图，该跌倒检测装置10包括存储器100和处理器102，其中存储器100存储有程序数据(图未示)，处理器102调用程序数据以执行上述实施例中的跌倒检测方法，相关内容的详细说明请参见上述方法部分，在此不再赘叙。
请参阅图8，图8是本申请具有存储功能的装置一实施方式的结构示意图，该具有存储功能的装置20存储有程序数据200，程序数据200被处理器执行以实现上述实施例中的跌倒检测方法，相关内容的详细说明请参见上述方法部分，在此不再赘叙。
综上，本申请所提供的跌倒检测方法利用关节点检测神经网络得到第一关节点热度图，并将其叠加在经关节点检测神经网络中的卷积模块处理后的第一特征图上获得第二特征图，使第二特征图上人体的关节点特征信息得到加强，结合关节点信息可更准确地判断人体当前的姿态，提高分析结果的准确性，并且，利用跌倒检测神经网对第二特征图像分析时，第二特征图像上包括关节点特征信息以及背景信息，可更准确地判断出图像上的人体是否处于跌倒状态，提升跌倒识别的鲁棒性。
在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种跌倒检测方法，其特征在于，所述方法包括：
获取视频数据中的人体子图；
将所述人体子图输入关节点检测神经网络，获得所述人体子图中多个关节点对应的第一关节点热度图；
将所述第一关节点热度图叠加到所述人体子图经所述关节点检测神经网络中的第一个卷积模块处理后的第一特征图上，得到第二特征图；其中，所述第一特征图保留有背景信息；
将所述第二特征图输入跌倒检测神经网络，获得跌倒分析结果；
其中，所述将所述第一关节点热度图叠加到所述人体子图经所述关节点检测神经网络中的卷积模块处理后的第一特征图上，得到第二特征图，包括：
将多个所述关节点对应的所述第一关节点热度图按照空间位置合并，得到关节点热度总图；
提取所述人体子图经所述关节点检测神经网络中的第一个卷积模块处理后的第一特征图；
将所述关节点热度总图与所述第一特征图按照空间位置合并，得到所述第二特征图；
其中，所述将所述关节点热度总图与所述第一特征图按照空间位置合并，包括：
将所述关节点热度总图中的关节点特征信息合并到所述第一特征图上；
其中，所述第二特征图像上包括所述关节点特征信息以及所述背景信息，所述第二特征图上的所述背景信息包括墙面、桌子和椅子；
其中，所述关节点检测神经网络包括4个卷积模块和3个反卷积模块。
2.根据权利要求1所述的方法，其特征在于，所述将所述关节点热度总图与所述第一特征图按照空间位置合并，得到所述第二特征图，之前，包括：
将所述关节点热度总图的分辨率调整至与所述第一特征图的分辨率相同。
3.根据权利要求1所述的方法，其特征在于，所述关节点检测神经网络通过以下步骤获得：
在第一样本图像上标注关节点的位置；
将所述第一样本图像输入关节点初始神经网络，以使所述第一样本图像经所述初始神经网络的多个卷积模块和反卷积模块后输出一组第二关节点热度图；
利用二维高斯函数以每个所述关节点的中心通过计算生成一组第三关节点热度图；
利用损失函数计算所述第二关节点热度图相对于所述第三关节点热度图的损失值，进而根据所述损失值对所述卷积模块和所述反卷积模块的参数进行迭代优化。
4.根据权利要求3所述的方法，其特征在于，所述在第一样本图像上标注关节点的位置，包括：
在所述第一样本图像上标注人体的多个位置的关节点，对于所述人体的头部，以所述头部的关节点的中心作为头部关节点。
5.根据权利要求3所述的方法，其特征在于，所述利用二维高斯函数以每个所述关节点的中心通过计算生成一组第三关节点热度图，之前，包括：
将所述第一样本图像上被标注的所述关节点的分辨率，调整至与所述第二关节点热度图相同。
6.根据权利要求1所述的方法，其特征在于，所述获取视频数据中的人体子图，包括：
获取视频数据中的单帧图像，识别出所述单帧图像上的人体目标；
利用跟踪算法对所述人体目标进行跟踪，在所述人体目标上生成相应的标识和目标框；
截取所述目标框内的图像数据，生成对应有所述标识的所述人体子图。
7.根据权利要求6所述的方法，其特征在于，所述将所述第二特征图输入跌倒检测神经网络，获得跌倒分析结果，之后，包括：
获取第一时间阈值内第一数量的单帧图像中，同一所述标识对应的人体子图中的人体目标的跌倒分析结果；
若第一时间阈值内，所述同一所述标识对应的人体子图中的人体目标的跌倒分析结果为跌倒的数量，大于所述第一数量与第一报警阈值的乘积，则判定所述同一所述标识对应的人体子图中的人体目标出现跌倒。
8.根据权利要求1所述的方法，其特征在于，所述将所述人体子图输入关节点检测神经网络，获得所述人体子图中多个关节点对应的第一关节点热度图，包括：
将所述人体子图输入所述关节点检测神经网络，所述人体子图经所述关节点检测神经网络中多个级联的卷积模块，得到多个所述关节点的第三特征图，进而所述第三特征图经所述关节点检测神经网络中多个级联的反卷积模块，得到多个所述关节点对应的所述第一关节点热度图。
9.根据权利要求1所述方法，其特征在于，所述将所述第二特征图输入跌倒检测神经网络，获得跌倒分析结果，包括：
将所述第二特征图输入所述跌倒检测神经网络，所述第二特征图经所述跌倒检测神经网络中多个级联的卷积模块，得到第四特征图，进而所述第四特征图经所述跌倒检测神经网络中池化模块，得到第五特征图，分析所述第五特征图输出跌倒分析结果。
10.一种跌倒检测装置，其特征在于，包括：存储器和处理器，其中，所述存储器存储有程序数据，所述处理器调用所述程序数据以执行如权利要求1-9任意一项所述的跌倒检测方法。
11.一种具有存储功能的装置，其上存储有程序数据，其特征在于，
所述程序数据被处理器执行时实现如权利要求1-9任一项所述的跌倒检测方法。
CN202010677038.8A 2020-07-14 2020-07-14 一种跌倒检测方法、跌倒检测装置及存储装置 Active CN111563492B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010677038.8A CN111563492B (zh) 2020-07-14 2020-07-14 一种跌倒检测方法、跌倒检测装置及存储装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010677038.8A CN111563492B (zh) 2020-07-14 2020-07-14 一种跌倒检测方法、跌倒检测装置及存储装置

Publications (2)

Publication Number Publication Date
CN111563492A CN111563492A (zh) 2020-08-21
CN111563492B true CN111563492B (zh) 2020-11-10

Family

ID=72075454

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010677038.8A Active CN111563492B (zh) 2020-07-14 2020-07-14 一种跌倒检测方法、跌倒检测装置及存储装置

Country Status (1)

Country Link
CN (1) CN111563492B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113657150A (zh) * 2021-07-07 2021-11-16 浙江大华技术股份有限公司 一种跌倒检测方法、装置和计算机可读存储介质
CN116311542B (zh) * 2023-05-23 2023-08-04 广州英码信息科技有限公司 兼容拥挤场景和非拥挤场景的人体摔倒检测方法及***

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109360633B (zh) * 2018-09-04 2022-08-30 北京市商汤科技开发有限公司 医疗影像处理方法及装置、处理设备及存储介质
CN109711329B (zh) * 2018-12-25 2021-02-09 北京迈格威科技有限公司 姿态估计及网络训练方法、装置和***及存储介质
KR102060761B1 (ko) * 2019-04-09 2019-12-30 주식회사 에이치랩 기계 학습을 활용한 rf 기반의 낙상 판단 시스템 및 그의 낙상 판단 방법
CN110008915B (zh) * 2019-04-11 2023-02-03 电子科技大学 基于掩码-rcnn进行稠密人体姿态估计的***及方法
CN110610154A (zh) * 2019-09-10 2019-12-24 北京迈格威科技有限公司 行为识别方法、装置、计算机设备和存储介质
CN111274954B (zh) * 2020-01-20 2022-03-15 河北工业大学 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法

Also Published As

Publication number Publication date
CN111563492A (zh) 2020-08-21

Similar Documents

Publication Publication Date Title
JP7058373B2 (ja) 医療画像に対する病変の検出及び位置決め方法、装置、デバイス、及び記憶媒体
CN107358149B (zh) 一种人体姿态检测方法和装置
CN110427905A (zh) 行人跟踪方法、装置以及终端
US8706663B2 (en) Detection of people in real world videos and images
US9014467B2 (en) Image processing method and image processing device
EP3709266A1 (en) Human-tracking methods, apparatuses, systems, and storage media
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
JP7292492B2 (ja) オブジェクト追跡方法及び装置、記憶媒体並びにコンピュータプログラム
CN109299658B (zh) 脸部检测方法、脸部图像渲染方法、装置及存储介质
CN109087261B (zh) 基于非受限采集场景的人脸矫正方法
CN111563492B (zh) 一种跌倒检测方法、跌倒检测装置及存储装置
CN109784230A (zh) 一种人脸视频图像质量寻优方法、***及设备
CN113392681A (zh) 人体跌倒检测方法、装置及终端设备
US20170053172A1 (en) Image processing apparatus, and image processing method
CN113780145A (zh) ***形态检测方法、装置、计算机设备和存储介质
CN111028266B (zh) 畜禽盘点方法、装置、电子设备和存储介质
CN113299363A (zh) 一种基于yolov5的皮肤科非处方药售药方法
CN112560584A (zh) 一种人脸检测方法及装置、存储介质、终端
CN115601811A (zh) 面部痤疮的检测方法和装置
CN109740527B (zh) 一种视频帧中图像处理方法
CN114937293A (zh) 基于gis的农业服务管理方法及***
CN112836682A (zh) 视频中对象的识别方法、装置、计算机设备和存储介质
CN116563305A (zh) 一种血管的异常区域的分割方法、装置及电子设备
CN116342519A (zh) 一种基于机器学习的图像处理方法
GB2467643A (en) Improved detection of people in real world videos and images.

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant