CN115984967A - 基于深度学习的人体跌倒检测方法、装置及*** - Google Patents
基于深度学习的人体跌倒检测方法、装置及*** Download PDFInfo
- Publication number
- CN115984967A CN115984967A CN202310011636.5A CN202310011636A CN115984967A CN 115984967 A CN115984967 A CN 115984967A CN 202310011636 A CN202310011636 A CN 202310011636A CN 115984967 A CN115984967 A CN 115984967A
- Authority
- CN
- China
- Prior art keywords
- human body
- module
- potential
- risk object
- fall
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 31
- 238000013135 deep learning Methods 0.000 title claims abstract description 21
- 230000005484 gravity Effects 0.000 claims abstract description 22
- 230000008859 change Effects 0.000 claims abstract description 17
- 238000000034 method Methods 0.000 claims abstract description 13
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 238000012545 processing Methods 0.000 claims description 26
- 238000013528 artificial neural network Methods 0.000 claims description 16
- 230000001133 acceleration Effects 0.000 claims description 13
- 210000000746 body region Anatomy 0.000 claims description 8
- 238000003062 neural network model Methods 0.000 claims description 7
- 238000004422 calculation algorithm Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000007635 classification algorithm Methods 0.000 claims description 2
- 230000004927 fusion Effects 0.000 claims description 2
- 238000013138 pruning Methods 0.000 claims description 2
- 238000013139 quantization Methods 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 230000036544 posture Effects 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005286 illumination Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000012805 post-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 208000029725 Metabolic bone disease Diseases 0.000 description 1
- 208000001132 Osteoporosis Diseases 0.000 description 1
- 240000007651 Rubus glaucus Species 0.000 description 1
- 235000011034 Rubus glaucus Nutrition 0.000 description 1
- 235000009122 Rubus idaeus Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 208000019622 heart disease Diseases 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Landscapes
- Alarm Systems (AREA)
Abstract
基于深度学***台。本发明旨在解决由于现有技术对用户跌倒检测准确率低、实现难、成本高、隐私性差的问题。
Description
技术领域
本申请涉及跌倒检测技术领域，尤其涉及一种基于深度学习的人体跌倒检测方法、装置及***。
背景技术
随着我国老龄化问题日益严重，跌倒在老年人群体中十分常见，对于年轻人来说，摔倒是一件拍拍屁股爬起来的小事；但对于老年人来说，危险不亚于心脏病和中风发作。年龄越大，发生跌倒的可能性也就越大，而且多数老年人都会有骨质疏松、骨质变脆的现象，跌倒对于他们来说可能产生很严重的后果。
目前现有的跌倒检测设备可分为穿戴式和非穿戴式，可穿戴式装置一般采用加速度计或重力传感器。其通常放置在身体手腕、颈部等单一位置，通过对传感器的输出信号进行处理后再判断用户是否跌倒。虽然其检测精准度高，但由于使用的多数人员为年龄大的老人，其记忆力衰退较为明显，很容易发生忘记佩戴的情况，导致设备无法时刻呵护用户的安全。非穿戴设备不需要与用户有直接接触，最为常见的装置为摄像机，采用图像识别技术可以很轻松的完成人群姿态的判断。但是目前市面上的大部分设备采用云端识别的技术，这对于老人隐私的保护不是很好。
发明内容
本申请提供一种基于深度学习的人体跌倒检测方法、装置及***，旨在解决由于现有技术对用户跌倒检测准确率低、实现难、成本高、隐私性差的问题。
为了实现上述目的，本发明采用以下技术：
一种基于深度学习的人体跌倒检测方法，包括步骤：
S100、将摄像头对区域内进行采集的图片输入预先部署于边缘嵌入式终端设备中的已经训练好的模型Model1中，对人体目标进行识别，获得人体区域信息和头部区域信息；
S200、对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，并执行S300，若未超过，则判断为未发生跌倒，结束；
S300、采用预先部署于边缘嵌入式终端设备中的已经训练好的模型Model2对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息，对潜在跌倒风险对象的姿态进行判断，并将姿态判断结果与S200中的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒；
S400、在S300的判断结果为跌倒时，通过与边缘嵌入式终端设备连接的外拓IoT设备将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。
一种基于深度学习的人体跌倒检测装置，包括：
第一识别模块，用于将摄像头对区域内进行采集的图片输入预先部署于边缘嵌入式终端设备中的已经训练好的模型Model1中，对人体目标进行识别，获得人体区域信息和头部区域信息；
第一判断模块，用于对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，并执行第二判断模块，若未超过，则判断为未发生跌倒，结束；
第二判断模块，用于采用预先部署于边缘嵌入式终端设备中的已经训练好的模型Model2对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息，对潜在跌倒风险对象的姿态进行判断，并将姿态判断结果与第一判断模块的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒；
发送模块，用于在第二判断模块的判断结果为跌倒时，通过与边缘嵌入式终端设备连接的外拓IoT设备将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。
一种基于深度学习的人体跌倒检测***，包括边缘嵌入式终端设备和IoT设备，边缘嵌入式终端设备包括视频处理子***、神经网络模块和判断处理模块，IoT设备包括模型控制模块和网络连接模块；
视频处理子***用于接收通过摄像头对区域内进行采集的图片，并输出；
神经网络模块用于加载已训练好的模型Model1对视频处理子***输入的图片进行人体目标识别，获得人体区域信息和头部区域信息；
判断处理模块用于对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，若未超过，则判断为未发生跌倒，结束；
网络连接模块用于接收判断处理模块的判断结果并传输给模型控制模块；
模型控制模块用于在收到判断结果为潜在跌倒风险对象时，控制神经网络模块加载已训练好的模型Model2，以对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息；
判断处理模块用于根据关键点坐标信息对潜在跌倒风险对象的姿态进行判断，将姿态判断结果与第一判断模块的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒；
网络连接模块用于接收判断处理模块的最终判断结果，并在判断结果为跌倒时将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。
本发明有益效果在于：
1、通过模型Modle1进行识别后进行过滤，初次判断是否为潜在跌倒对象，判断中不仅考虑人体高宽比变化、重心偏移，同时还进一步考虑头部加速度，进一步通过Modle2进行二次的关键点坐标信息提取，分析出姿态，以姿态结果结合初判断结果进行最终判断，提高了判断准确率，降低误判率；
2、通过将预先训练的模型部署到边缘嵌入式设备中，利用外拓IoT设备将跌倒信息发送出去，所有的检测算法均在本地进行边缘推理，不涉及任何云端互联网技术，可以极大程度上保护用户的隐私问题。
附图说明
图1是本申请实施例的人体跌倒检测方法的一种流程示例。
图2是本申请实施例的人体关键点坐标信息提取示意图。
图3是本申请实施例的跌倒判定流程的一种运行流程示例。
图4是本申请实施例的模型Modle1的一种结构示例。
图5是本申请实施例的模型Modle2的一种结构示例。
图6是本申请实施例的人体跌倒检测装置结构框图。
图7是本申请实施例的人体跌倒检测***结构框图。
图8是本申请实施例的模型Modle1的一种推演效果演示示例。
图9是本申请实施例的模型Modle2的一种推演效果演示示例。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面结合附图对本发明的实施方式进行详细说明，但本发明所描述的实施例是本发明一部分实施例，而不是全部的实施例。
本申请实施例的一个方面，提供一种基于深度学习的人体跌倒检测方法，如图1、图3所示为一些示例流程图，具体的，本示例的检测方法包括如下步骤：
S100、将摄像头对区域内进行采集的图片输入预先部署于边缘嵌入式终端设备中的已经训练好的模型Model1中，对人体目标进行识别，获得人体区域信息和头部区域信息。
其中，模型Model1采用ResNet18为主干特征提取网络的YOLO V2模型，其结构如图4所示。如图8所示为模型Modle1的一种推演效果演示示例。
在一些更加具体的实施方式中，通过摄像设备采集不同场景下的人体图像，拍摄场景包括但不限于客厅，卧室，书房，走廊，室外等地方；人体动作包括但不限于站立，坐下，跌倒，弯腰，蹲，侧卧等。其中，对于白天光照充足和夜晚光照不足的情况，需要摄像设备进行不同的采集，即夜晚光照不足情况下是采集的含有红外信息的图像。
作为一可选实施方式，为了提升模型算法的识别准确读，本实施例在所述不同场景应该从多个角度拍摄人体的动作序列，提取所述人体动作视频中的帧图像；所述多个角度拍摄包括人体的侧面、正面和背面。
S200、对人体区域信息和头部区域信息进行记录和过滤，对于重心偏移过大和人体高宽比例变化剧烈的目标，则激活下一个模型Modle2。
具体的，过滤后，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定范围，若超过，则作为潜在跌倒风险对象，并激活下一个模型Modle2，执行S300；若未超过，则判断为未发生跌倒，结束。
通过步骤S100可以获得拍摄区域内的人体坐标信息和头部坐标信息，将其进行保存和滤波。由于会受到环境和不确定因素的影响，模型所推理出来的结果会发生一定的误差，此处采用卡尔曼滤波算法对观测到的数据进行一个滤波。
当人体发生跌倒时，其重心和人体的高宽比会发生较大的变化。由于重心和人体高宽比的变化只能反应人体的动作发生了大幅度的变化，并不能说明其发生跌倒事件。此处需要对人体头部的加速度进行一个测量，从而辅助***进行跌倒风险判断，即，在判断人体重心的偏移和人体高宽比例的变化是否均超过预定值时，同时还需要判断人体头部加速度是否超过预设值，若均超过，才判断为潜在跌倒风险对象。
具体S200中判断人体重心的偏移、人体高宽比例的变化、人体头部加速度是否超过预设值是通过如下加权求和方式进行：
设
N时刻，从过滤后的信息中获得的头部区域坐标为(
x h(
N)，
y h(
N))、人体区域坐标为(
x b(
N)，
y b(
N))，
N时刻的头部加速度
a h(
N)的计算采用连续10帧图像，即N-9时刻~N时刻的坐标，利用如下公式计算：
其中，
a hx(
N)为
N时刻
x方向加速度，
a hy(
N)为
N时刻
y方向加速度；
N时刻的重心坐标(
x g(
N)，
y g(
N))通过头部区域坐标和人体区域坐标加权求和得到：
x g(
N)=
x h(
N)+
λ(
x b(
N)-
x h(
N))，
y g(
N)=
y h(
N)+
λ(
y b(
N)-
y h(
N))，
λ为权重因子，取值范围在(0.5~1)；
N时刻的重心偏移
x g(
N)为
N时刻重心坐标与
N-1时刻重心坐标的差值：
定义潜在跌倒风险系数
L r1，取值为(0~1)，采用如下公式：
其中，
w b 为人体宽度信息，
h b 为人体高度/长度信息，从过滤后的信息中获得；
当潜在跌倒风险系数
L r1(
N)大于等于预设阈值时，判断为潜在跌倒风险对象；
L r1(
N)小于预设阈值时，判断为未发生跌倒。
从而，通过对人体重心、高宽比和头部加速度的综合判断，选择是否激活下一模型Model2。
S300、采用预先部署于边缘嵌入式终端设备中的已经训练好的模型Model2对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息，对潜在跌倒风险对象的姿态进行判断，并将姿态判断结果与S200中的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒。
当模型Model2被激活时，则说明区域内具有潜在跌倒的对象，此时可以通过模型Model2获取该对象的关键点坐标信息，进一步对该对象的姿态进行细致判断。模型Model2的结构如图5所示，为采用Resnet18为主干特征提取网络的YOLO V3 Tiny模型，识别的人体关键点如图2所示。如图9所示为模型Modle2的一种推演效果演示示例。
获取到监测对象的特征关键点后则对该对象的姿态进行进一步的判断，包括站立、弯腰、跌倒、坐下，进一步结合步骤S200的结果可对该对象是否发生跌倒进行综合评判。
具体的，设S300中采用模型Modle2进行识别时的为
M时刻，根据关键点坐标信息，利用KNN分类算法对潜在跌倒风险对象的姿态进行细致识别，得到跌倒类别的概率为
η(
M)；
S300中将姿态判断结果与S200中的判断结果进行融合，采用如下公式：
L r(
M) =η(
M)·
L r1(
N)
其中，
L r(
M)为
M时刻的融合结果；
判断
L r(
M)是否大于等于预设的跌倒阈值，若是，则最终判断潜在跌倒风险对象为跌倒，若否，则判断为未发生跌倒。
S400、在S300的判断结果为跌倒时，通过与边缘嵌入式终端设备连接的外拓IOT设备将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。
由于摄像机和边缘嵌入式终端设备并不具有互联网功能，所以当检测到发生异常跌倒行为时需要借助其它IOT设备将报警信息发送出去。本实例中，所有的检测算法均在本地进行边缘推理，不涉及任何云端互联网技术，可以极大程度上保护用户的隐私问题。
在上述实例中，模型Model1和模型Model2通过如下步骤进行训练：
1）在计算机端通过Darknet框架搭建对应的神经网络模型；
2）对所采集的图片进行特征的标注；
3）利用标注的图片在服务器端对神经网络模型进行训练。
训练好的模型Model1和模型Model2通过如下步骤部署到边缘嵌入式终端设备：
1）使用量化算法对训练的神经网络模型进行量化和剪枝；
2）将量化和剪枝后的模型转换为底层芯片可识别的指令文件，得到文件模型；
3）将文件模型部署于边缘嵌入式终端设备中，以供用户构建的应用程序调用，从而运行对应的神经网络模型。
本申请实施例的另一方面，提供一种基于深度学习的人体跌倒检测装置，如图6所示，其结构包括第一识别模块、第一判断模块、第二判断模块和发送模块。
其中，第一识别模块将摄像头对区域内进行采集的图片输入预先部署于边缘嵌入式终端设备中的已经训练好的模型Model1中，对人体目标进行识别，获得人体区域信息和头部区域信息。
第一判断模块对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，并执行第二判断模块，若未超过，则判断为未发生跌倒，结束。
第二判断模块采用预先部署于边缘嵌入式终端设备中的已经训练好的模型Model2对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息，对潜在跌倒风险对象的姿态进行判断，并将姿态判断结果与第一判断模块的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒。
发送模块在第二判断模块的判断结果为跌倒时，通过与边缘嵌入式终端设备连接的外拓IoT设备将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。
本申请实施例的又一方面，提供一种基于深度学习的人体跌倒检测***，主要包括边缘嵌入式终端设备(Edge Device)和IoT设备(IoT Device)。
如图7所示，边缘嵌入式终端设备包括视频处理子***(VPSS)、神经网络模块(CNNAccelerators)、判断处理模块(Post Processing)、视频图像子***(VGS)、视频编码模块(VC)、视频输出模块(VO)等，IoT设备包括模型控制模块(Modle Control)和网络连接模块(Network Agent)。神经网络模块可以从外置SD卡加载已训练好的模型Model1和模型Model2，以对图像数据进行推理计算。神经网络模块的运行可由Core0/1或IoT设备的模型控制模块控制。
边缘嵌入式终端设备和IoT设备之间通过Soft BUS软总线连接。视频处理子***连接视频图像子***和神经网络模块，神经网络模块连接判断处理模块，判断处理模块连接网络连接模块，网络连接模块连接模型控制模块，模型控制模块连接神经网络模块，视频图像子***连接视频编码模块和视频输出模块，视频编码模块通过SDIO接口连接SD卡，视频输出模块通过MIPI/HDMI接口连接到外部显示器。
视频处理子***接收来自摄像设备对区域内进行采集的RGB Stream视频数据并输出两路图像，通道CH0为高分辨率图像，用于存储和输出显示，通道CH1输出小分辨率图像用于神经网络检测。
对于通道CH1输出的图片，神经网络模块加载已训练好的模型Model1对其进行人体目标识别，获得人体区域信息和头部区域信息，然后送入判断处理模块，判断处理模块对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，若未超过，则判断为未发生跌倒，结束；并将判断结果输送给网络连接模块。进一步的，判断是否均超过预定值时，一并考虑头部加速度，将头部加速度、人体重心偏移、人体高宽比例加权求和进行综合判断。
网络连接模块接收判断处理模块的判断结果并传输给模型控制模块；模型控制模块在收到判断结果为潜在跌倒风险对象时，控制神经网络模块加载已训练好的模型Model2，使模型Model2激活。
模型Model2在激活时，在激活时对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息；判断处理模块根据关键点坐标信息对潜在跌倒风险对象的姿态进行判断，将姿态判断结果与第一判断模块的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒；并将判断结果再次输送给网络连接模块。
网络连接模块接收判断处理模块的最终判断结果，并在判断结果为跌倒时将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。
另一方面，视频图像子***等待神经网络模块的检测结果，再通道CH0的图像上进行结果叠加，再分为两路，一路视频送给视频编码模块进行H.264编码存储于SD卡，另一路送给视频视出模块，通过接口在外部显示器上显示叠加有检测信息的视频图像。
作为一些可选的方式，IoT设备可以选用搭载Home Assistant的树莓派，Soft BUS可选用蓝牙的方式进行连接。
以上所述仅为本申请的优选实施例，并不用于限制本申请，显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。
Claims (10)
1.基于深度学习的人体跌倒检测方法，其特征在于，包括步骤：
S100、将摄像头对区域内进行采集的图片输入预先部署于边缘嵌入式终端设备中的已经训练好的模型Model1中，对人体目标进行识别，获得人体区域信息和头部区域信息；
S200、对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，并执行S300，若未超过，则判断为未发生跌倒，结束；
S300、采用预先部署于边缘嵌入式终端设备中的已经训练好的模型Model2对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息，对潜在跌倒风险对象的姿态进行判断，并将姿态判断结果与S200中的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒；
S400、在S300的判断结果为跌倒时，通过与边缘嵌入式终端设备连接的外拓IoT设备将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。
2.根据权利要求1所述的基于深度学习的人体跌倒检测方法，其特征在于，S200中，在判断人体重心的偏移和人体长宽比例的变化是否均超过预定值时，同时还需要判断人体头部加速度是否超过预设值，若均超过，才判断为潜在跌倒风险对象。
3.根据权利要求2所述的基于深度学习的人体跌倒检测方法，其特征在于，S200中判断人体重心的偏移、人体长宽比例的变化、人体头部加速度是否超过预设值是通过加权求和方式进行：
设N时刻，从过滤后的信息中获得的头部区域坐标为(x h(N)，y h(N))、人体区域坐标为(x b(N)，y b(N))，N时刻的头部加速度a h(N)的计算采用连续10帧图像，即N-9时刻~N时刻的坐标，利用如下公式计算：
其中，a hx(N)为N时刻x方向加速度，a hy(N)为N时刻y方向加速度；
N时刻的重心坐标(x g(N)，y g(N))通过头部区域坐标和人体区域坐标加权求和得到：x g(N)=x h(N)+λ(x b(N)-x h(N))，y g(N)=y h(N)+λ(y b(N)-y h(N))，λ为权重因子，取值范围在(0.5~1)；
N时刻的重心偏移x g(N)为N时刻重心坐标与N-1时刻重心坐标的差值：
定义潜在跌倒风险系数L r1，取值为(0~1)，采用如下公式：
其中，w b 为人体宽度信息，h b 为人体高度/长度信息，从过滤后的信息中获得；
当潜在跌倒风险系数L r1(N)大于等于预设阈值时，判断为潜在跌倒风险对象；L r1(N)小于预设阈值时，判断为未发生跌倒。
4.根据权利要求1所述的基于深度学习的人体跌倒检测方法，其特征在于：
设S300中采用模型Modle2进行识别时的为M时刻，根据关键点坐标信息，利用KNN分类算法对潜在跌倒风险对象的姿态进行细致识别，得到跌倒类别的概率为η(M)；
S300中将姿态判断结果与S200中的判断结果进行融合，采用如下公式：
L r(M) =η(M)·L r1(N)
其中，L r(M)为M时刻的融合结果；
判断L r(M)是否大于等于预设的跌倒阈值，若是，则最终判断潜在跌倒风险对象为跌倒，若否，则判断为未发生跌倒。
5.根据权利要求1所述的基于深度学习的人体跌倒检测方法，其特征在于，模型Model1采用ResNet18为主干特征提取网络的YOLO V2模型。
6.根据权利要求1所述的基于深度学习的人体跌倒检测方法，其特征在于，模型Model2采用ResNet18为主干特征提取网络的YOLO V3 Tiny模型，用于对人体的特征关键点进行检测。
7.根据权利要求1所述的基于深度学习的人体跌倒检测方法，其特征在于，模型Model1和模型Model2通过如下步骤进行训练：
在计算机端通过Darknet框架搭建对应的神经网络模型；
对所采集的图片进行特征的标注；
利用标注的图片在服务器端对神经网络模型进行训练。
8.根据权利要求6所述的基于深度学习的人体跌倒检测方法，其特征在于，训练好的模型Model1和模型Model2通过如下步骤部署到边缘嵌入式终端设备：
使用量化算法对训练的神经网络模型进行量化和剪枝；
将量化和剪枝后的模型转换为底层芯片可识别的指令文件，得到文件模型；
将文件模型部署于边缘嵌入式终端设备中，以供用户构建的应用程序调用运行。
9.基于深度学习的人体跌倒检测装置，其特征在于，包括：
第一识别模块，用于将摄像头对区域内进行采集的图片输入预先部署于边缘嵌入式终端设备中的已经训练好的模型Model1中，对人体目标进行识别，获得人体区域信息和头部区域信息；
第一判断模块，用于对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，并执行第二判断模块，若未超过，则判断为未发生跌倒，结束；
第二判断模块，用于采用预先部署于边缘嵌入式终端设备中的已经训练好的模型Model2对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息，对潜在跌倒风险对象的姿态进行判断，并将姿态判断结果与第一判断模块的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒；
发送模块，用于在第二判断模块的判断结果为跌倒时，通过与边缘嵌入式终端设备连接的外拓IoT设备将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。
10.基于深度学习的人体跌倒检测***，其特征在于，包括边缘嵌入式终端设备和IoT设备，边缘嵌入式终端设备包括视频处理子***、神经网络模块和判断处理模块，IoT设备包括模型控制模块和网络连接模块；
视频处理子***用于接收通过摄像头对区域内进行采集的图片，并输出；
神经网络模块用于加载已训练好的模型Model1对视频处理子***输入的图片进行人体目标识别，获得人体区域信息和头部区域信息；
判断处理模块用于对人体区域信息和头部区域信息进行记录和过滤，根据过滤后的信息判断人体重心的偏移和人体高宽比例的变化是否均超过预定值，若超过，则作为潜在跌倒风险对象，若未超过，则判断为未发生跌倒，结束；
网络连接模块用于接收判断处理模块的判断结果并传输给模型控制模块；
模型控制模块用于在收到判断结果为潜在跌倒风险对象时，控制神经网络模块加载已训练好的模型Model2，以对潜在跌倒风险对象进行人体关键点特征识别，获取关键点坐标信息；
判断处理模块用于根据关键点坐标信息对潜在跌倒风险对象的姿态进行判断，将姿态判断结果与第一判断模块的判断结果进行融合，以最终判断潜在跌倒风险对象是否发生跌倒；
网络连接模块用于接收判断处理模块的最终判断结果，并在判断结果为跌倒时将跌倒状态发送至服务器云平台，以使服务器云平台向预先绑定的紧急联系人终端发送报警信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310011636.5A CN115984967A (zh) | 2023-01-05 | 2023-01-05 | 基于深度学习的人体跌倒检测方法、装置及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310011636.5A CN115984967A (zh) | 2023-01-05 | 2023-01-05 | 基于深度学习的人体跌倒检测方法、装置及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115984967A true CN115984967A (zh) | 2023-04-18 |
Family
ID=85969995
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310011636.5A Pending CN115984967A (zh) | 2023-01-05 | 2023-01-05 | 基于深度学习的人体跌倒检测方法、装置及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115984967A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116304596A (zh) * | 2023-05-26 | 2023-06-23 | 深圳市明源云科技有限公司 | 室内儿童安全监测方法、装置、电子设备及存储介质 |
| CN116542674A (zh) * | 2023-07-06 | 2023-08-04 | 鲁担(山东)数据科技有限公司 | 一种基于大数据的风险分析评估方法及*** |
| CN116610834A (zh) * | 2023-05-15 | 2023-08-18 | 三峡科技有限责任公司 | 一种基于ai分析下的监控视频存储及快速查询方法 |
| CN117132949A (zh) * | 2023-10-27 | 2023-11-28 | 长春理工大学 | 一种基于深度学习的全天候跌倒检测方法 |
-
2023
- 2023-01-05 CN CN202310011636.5A patent/CN115984967A/zh active Pending
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116610834A (zh) * | 2023-05-15 | 2023-08-18 | 三峡科技有限责任公司 | 一种基于ai分析下的监控视频存储及快速查询方法 |
| CN116610834B (zh) * | 2023-05-15 | 2024-04-12 | 三峡科技有限责任公司 | 一种基于ai分析下的监控视频存储及快速查询方法 |
| CN116304596A (zh) * | 2023-05-26 | 2023-06-23 | 深圳市明源云科技有限公司 | 室内儿童安全监测方法、装置、电子设备及存储介质 |
| CN116542674A (zh) * | 2023-07-06 | 2023-08-04 | 鲁担(山东)数据科技有限公司 | 一种基于大数据的风险分析评估方法及*** |
| CN116542674B (zh) * | 2023-07-06 | 2023-09-26 | 鲁担(山东)数据科技有限公司 | 一种基于大数据的风险分析评估方法及*** |
| CN117132949A (zh) * | 2023-10-27 | 2023-11-28 | 长春理工大学 | 一种基于深度学习的全天候跌倒检测方法 |
| CN117132949B (zh) * | 2023-10-27 | 2024-02-09 | 长春理工大学 | 一种基于深度学习的全天候跌倒检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115984967A (zh) | 基于深度学习的人体跌倒检测方法、装置及*** | |
| US11298050B2 (en) | Posture estimation device, behavior estimation device, storage medium storing posture estimation program, and posture estimation method | |
| Kepski et al. | Fall detection using ceiling-mounted 3d depth camera | |
| JP5390322B2 (ja) | 画像処理装置、及び画像処理方法 | |
| US10841501B2 (en) | Photographing control apparatus and photographing control method | |
| CN112165600B (zh) | 一种溺水的识别方法、装置、摄像头及计算机*** | |
| KR100822476B1 (ko) | 원격 응급상황 모니터링 시스템 및 방법 | |
| KR102413893B1 (ko) | 스켈레톤 벡터 기반 비대면 비접촉 낙상탐지 시스템 및 방법 | |
| Humenberger et al. | Embedded fall detection with a neural network and bio-inspired stereo vision | |
| KR102410286B1 (ko) | 딥러닝에 기반하여 낙상 사고를 감지하는 방법 및 그 전자장치 | |
| Joshi et al. | A fall detection and alert system for an elderly using computer vision and Internet of Things | |
| CN114616591A (zh) | 物体跟踪装置以及物体跟踪方法 | |
| Taghvaei et al. | Image-based fall detection and classification of a user with a walking support system | |
| JP6796525B2 (ja) | 画像処理装置、画像処理システム及び画像処理方法 | |
| CN113660455B (zh) | 一种基于dvs数据的跌倒检测方法、***、终端 | |
| CN116453058A (zh) | 基于深度学习和数字分身的居家老人行为监测方法及*** | |
| CN111797654A (zh) | 驾驶员疲劳状态检测方法、装置、存储介质及移动终端 | |
| CN110148234A (zh) | 校园刷脸接送交互方法、存储介质及*** | |
| CN115223198A (zh) | 一种猪只行为识别方法、***、计算机设备和存储介质 | |
| CN115546825A (zh) | 一种安检规范性自动监测方法 | |
| WO2020241057A1 (ja) | 画像処理システム、画像処理プログラム、および画像処理方法 | |
| JP7198052B2 (ja) | 画像監視システム | |
| CN114639168A (zh) | 一种用于跑步姿态识别的方法和*** | |
| CN112084899A (zh) | 一种基于深度学习的跌倒事件检测方法和*** | |
| JP6981553B2 (ja) | 識別システム、モデル提供方法およびモデル提供プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |