CN114792429A - 多视角摔倒检测方法、装置及存储介质 - Google Patents
多视角摔倒检测方法、装置及存储介质 Download PDFInfo
- Publication number
- CN114792429A CN114792429A CN202210352997.1A CN202210352997A CN114792429A CN 114792429 A CN114792429 A CN 114792429A CN 202210352997 A CN202210352997 A CN 202210352997A CN 114792429 A CN114792429 A CN 114792429A
- Authority
- CN
- China
- Prior art keywords
- human body
- image block
- human
- current frame
- position coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 18
- 230000000007 visual effect Effects 0.000 claims abstract description 13
- 230000009471 action Effects 0.000 claims abstract description 12
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 210000003423 ankle Anatomy 0.000 claims description 36
- 210000003127 knee Anatomy 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 15
- 238000000605 extraction Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 10
- 230000006978 adaptation Effects 0.000 claims description 9
- 230000002123 temporal effect Effects 0.000 claims description 5
- 210000000689 upper leg Anatomy 0.000 claims description 5
- 238000009826 distribution Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000003213 activating effect Effects 0.000 claims description 3
- 238000012805 post-processing Methods 0.000 claims description 3
- 230000014509 gene expression Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 abstract description 14
- 230000036544 posture Effects 0.000 description 36
- 230000006870 function Effects 0.000 description 19
- 238000010586 diagram Methods 0.000 description 12
- 230000006399 behavior Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 210000003414 extremity Anatomy 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 238000012800 visualization Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 230000006378 damage Effects 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000008897 memory decline Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/047—Probabilistic or stochastic networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Molecular Biology (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于时空自适应和人体姿态估计的多视角摔倒检测方法、装置及存储介质,其包括:获取摄像头采集的视频流片段;通过轻量级卷积网络对视频序列进行预处理,得到全局特征图序列;对全局特征图序列中的每一幅全局特征图进行时空自适应处理,得到包含老人行为动作的图像块;利用人体姿态估计算法从图像块中得到人体关键点的位置坐标;根据人体关键点的位置坐标,利用阈值法判断不同视觉角度下图像块中的老人是否摔倒;当连续N帧图像块判断为老人摔倒时,生成报警信号。本发明能够在减少冗余计算降低模型的计算开销的同时保证老人摔倒检测的实时性和准确性。
Description
技术领域
本发明涉及一种基于时空自适应和人体姿态估计的多视角摔倒检测方法、装置及存储介质,属于计算机视觉技术领域。
背景技术
随着社会的不断发展,人口老龄化问题日益严重,越来越多的年轻人在工作后也会与父母分居生活,导致空巢老人、独居老人的数量与日俱增,因此,老年人的居家生活状态越来越受到社会的广泛关注。随着老人年龄的增长,身体的各项生理机能不断下降,跌倒给老人身体带来的伤害程度也愈加严重,在日常生活中跌倒已经成为老人身体健康的首要威胁。传统的老人摔倒检测都是通过穿戴传感器设备来实现,对于记忆力日益衰退的老年人来说,不仅有可能会忘记穿戴检测设备,而且穿戴接触式的检测设备可能会让老人身体感到不适或导致老人行动更加不便,影响老人的日常生活,不适合居家老人使用。
随着计算机视觉技术的不断发展,基于智能视频监控的老人摔倒检测技术越来越多,智能视频监控已经不需要人工实时查看,可以通过一些轻量级算法实时检测视频中老人是否摔倒,这不仅不会干扰老人的日常生活,还能在出现意外情况时及时发出报警。目前,大部分基于视频的摔倒检测算法要么计算成本和硬件需求较高,难以实现实际场景的应用;要么为了保证视频检测的实时性降低计算开销,将算法模型进行轻量化处理,却难以保证视频检测的准确率或生成良好的可视化效果,从而影响摔倒姿态的判定。比如经典的人体姿态估计算法OpenPose计算量较大,在嵌入式设备上难以保证实时性,但轻量级的OpenPose对复杂姿态的识别准确率较低。尽管目前有许多根据2D人体姿态进行摔倒判定的方法,却无法根据不同的视觉角度较精准的判断人物是否摔倒,难以解决以二维图片判断三维姿态的问题。
发明内容
为了解决现有技术中存在的问题,本发明提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测方法、装置及存储介质,不仅能够减少冗余计算降低模型的计算开销,实现在实际场景下的应用,还能实时准确的检测室内老人是否摔倒。
为解决上述技术问题,本发明采用了如下技术手段:
第一方面,本发明提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测方法,包括如下步骤:
获取摄像头采集的视频流片段,得到视频序列;
通过轻量级卷积网络对视频序列进行预处理,得到全局特征图序列;
对全局特征图序列中的每一幅全局特征图进行时空自适应处理,得到包含老人行为动作的图像块;
利用人体姿态估计算法从图像块中得到人体关键点的位置坐标;
根据人体关键点的位置坐标,利用阈值法判断不同视觉角度下图像块中的老人是否摔倒;
当连续N帧图像块判断为老人摔倒时,生成报警信号。
结合第一方面,进一步的,利用空间自适应的奖励函数和时间自适应的奖励函数处理全局特征图序列中的每一幅全局特征图,选择出包含老人行为动作的图像块,其中,空间自适应的奖励函数和时间自适应的奖励函数的表达式如下:
其中,表示空间自适应的奖励函数,表示从第i个视频帧Oi采样的图像块,表示属于包含老人行为动作的图像块的softmax预测,表示高斯分布采样所获得的期望,R'i(Bi|B1,...,Bi-1)表示时间自适应的奖励函数,Bi表示第i个视频帧输出的Bernoulli参数,P'iy(B1,...,Bi-1,1)表示Bi=1时的softmax预测,P'iy(B1,...,Bi-1,0)表示Bi=0时的softmax预测,λ为预定义的超参数,L表示图像块的长度,ω表示激活视频帧的阈值,i=1,2,…,n,n为视频帧的数量。
结合第一方面,进一步的,所述人体姿态估计算法采用MoveNet算法。
结合第一方面,进一步的,利用人体姿态估计算法从图像块中得到人体关键点的位置坐标的方法为:
将ResNet网络与特征金字塔网络横向连接后对关键帧中的图像块进行处理,得到关键特征图;
通过四个预测头对关键特征图中人体关键点的位置坐标进行预测;
通过后处理精确定位并输出一组最靠近图像块中心的人体关键点位置坐标。
结合第一方面,进一步的,人体关键点包括左肩、右肩、左胯、右胯、左膝、右膝、左踝和右踝。
结合第一方面,进一步的,根据人体关键点的位置坐标,利用阈值法判断不同视觉角度下图像块中的老人是否摔倒,包括:
当y10-y11<0时,判断老人面对着摄像头方向摔倒,其中,y10表示当前帧图像块中人体两胯中点的纵坐标,y11表示当前帧图像块中人体两踝中点的纵坐标;
当y10-y11<ymin且时,判断老人侧对着摄像头方向摔倒,其中,ymin表示老人直立行走时两胯中点与两踝中点的最小垂直高度,θ表示躯干偏离角度,(x9,y9)表示当前帧图像块中人体两肩中点的位置坐标,x10表示当前帧图像块中人体两胯中点的横坐标;
当且时,判断老人背对着摄像头方向摔倒,其中,(x5,y5)表示当前帧图像块中人体左膝盖的位置坐标,(x6,y6)表示当前帧图像块中人体右膝盖的位置坐标,(x7,y7)表示当前帧图像块中人体左脚踝的位置坐标,(x8,y8)表示表示当前帧图像块中人体右脚踝的位置坐标,x11表示当前帧图像块中人体两踝中点的横坐标;以采集的原始视频序列为准,(x'5,y'5)表示从当前帧图像块开始向前第m帧图像中人体左膝盖的位置坐标,(x'6,y'6)表示从当前帧图像块开始向前第m帧图像中人体右膝盖的位置坐标,(x'7,y'7)表示从当前帧图像块开始向前第m帧图像中人体左脚踝的位置坐标,(x'8,y'8)表示从当前帧图像块开始向前第m帧图像中人体右脚踝的位置坐标,(x'9,y'9)表示从当前帧图像块开始向前第m帧图像中人体两肩中点的位置坐标,(x'10,y'10)表示从当前帧图像块开始向前第m帧图像中人体两胯中点的位置坐标,(x'11,y'11)表示从当前帧图像块开始向前第m帧图像中人体两踝中点的位置坐标。
结合第一方面,进一步的,轻量级卷积网络采用ShuffleNet-V2网络。
第二方面,本发明提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测装置,包括:
视频流采集模块,用于通过摄像头采集视频流片段,得到视频序列;
第一级特征提取模块,用于通过轻量级卷积网络对视频序列进行预处理,得到全局特征图序列;
第二级特征提取模块,用于对全局特征图序列中的每一幅全局特征图进行时空自适应处理,得到包含老人行为动作的图像块;
第三级特征提取模块,用于利用人体姿态估计算法从图像块中得到人体关键点的位置坐标;
摔倒判断模块,用于根据人体关键点的位置坐标,利用阈值法判断不同视觉角度下图像块中的老人是否摔倒;
报警模型,用于当连续N帧图像块判断为老人摔倒时,生成报警信号。
第三方面,本发明提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测装置,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行本发明第一方面所述方法的步骤。
第四方面,本发明提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明第一方面所述方法的步骤。
采用以上技术手段后可以获得以下优势:
本发明提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测方法、装置及存储介质,通过时空自适应处理从原始的视频序列中选取关键帧中包含老人行为动作的图像块,能够从时间和空间两个维度去除视频流中的冗余信息,不仅不需要逐帧处理,而且图像块的空间尺寸小于原图,能够显著降低网络模型的计算开销,保证算法在嵌入式设备或移动设备上运行时的实时性。与此同时本发明利用人体姿态估计算法从图像块中得到人体关键点坐标,人体姿态估计算法使用计算量较大的ResNet网络提高了关键点坐标的准确性,实现良好的关键点可视化效果。最后,本发明采用阈值法判断不同视觉角度下图像块中人物是否摔倒,可有效区分正常站立、蹲坐和躺倒姿势,精确判断老人是否摔倒。
本发明能够在减少冗余计算降低模型的计算开销的同时保证老人摔倒检测的实时性和准确性,进一步优化了基于智能视频监控的老人摔倒检测技术。
附图说明
图1为本发明一种基于时空自适应和人体姿态估计的多视角摔倒检测方法的步骤流程图;
图2为本发明实施例中多视角摔倒检测方法的流程示意图;
图3为本发明实施例中人体关键点的示意图;
图4为本发明实施例中老人直立行走的姿态示意图;
图5为本发明实施例中老人面对着摄像头方向摔倒的姿态示意图;
图6为本发明实施例中老人侧对着摄像头方向摔倒的姿态示意图;
图7为本发明实施例中老人背对着摄像头方向摔倒的姿态示意图;
图8为本发明实施例中一种基于时空自适应和人体姿态估计的多视角摔倒检测装置的结构示意图。
具体实施方式
下面结合附图对本发明的技术方案作进一步说明:
本发明提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测方法,如图1、2所示,具体包括如下步骤:
步骤A、获取摄像头采集的视频流片段,得到视频序列。
步骤B、通过轻量级卷积网络ShuffleNet-V2对视频序列进行快速粗略的预处理,获取视频序列中每一帧的全局特征信息,得到全局特征图序列。
步骤C、对全局特征图序列中的每一幅全局特征图进行时空自适应处理,确定视频流中关键帧的关键区域,得到包含老人行为动作的图像块。
将全局特征图序列中的每一幅全局特征作为输入,通过时空自适应处理输出每个关键帧中包含老人行为动作的图像块。
时空自适应是一个策略网络,将步骤B获取的廉价全局特征图作为输入,并整合目前为止所有视频帧的信息,使用策略梯度的方法优化目标为最大化折扣奖励函数,利用空间自适应的奖励函数和时间自适应的奖励函数处理全局特征图序列中的每一幅全局特征图,通过得到的奖励函数值判断视频的每一帧是否处理并选择出含有老人行为动作的图像块。
在本发明实施例中,空间自适应的奖励函数和时间自适应的奖励函数的表达式如下:
其中,表示空间自适应的奖励函数,表示从第i个视频帧Oi采样的图像块,表示属于包含老人行为动作的图像块的softmax预测,表示高斯分布采样所获得的期望,R'i(Bi|B1,...,Bi-1)表示时间自适应的奖励函数,Bi表示第i个视频帧输出的Bernoulli参数,P'iy(B1,...,Bi-1,1)表示Bi=1时的softmax预测,P'iy(B1,...,Bi-1,0)表示Bi=0时的softmax预测,λ为预定义的超参数,L表示图像块的长度,ω表示激活视频帧的阈值,i=1,2,…,n,n为视频帧的数量。
公式(3)中通过高斯分布采样所获得的期望作为基准优化损失函数,可以鼓励模型选择能够产生可靠预测的图像块;公式(4)将标签类别上的置信度上升效果与视频帧中图像块所需的计算开销进行比较,并通过阈值筛选出关键帧避免冗余计算。
步骤D、利用人体姿态估计算法从图像块中得到人体关键点的位置坐标。
人体姿态估计算法采用MoveNet算法,利用人体姿态估计算法从图像块中得到人体关键点的位置坐标的具体操作为:
使用ResNet作为局部卷积网络,将ResNet网络与特征金字塔网络横向连接后对关键帧中的图像块进行处理,输出高分辨率且语义信息丰富的关键特征图;通过四个预测头对关键特征图中人体关键点的位置坐标进行预测,粗略定位关键点的范围;通过后处理加权精细化关键点坐标,输出一组最靠近图像块中心的人体关键点位置坐标。
在本发明实施例中,如图3所示,人体关键点共有8个,分别是1:左肩、2:右肩、3:左胯、4:右胯、5:左膝、6:右膝、7:左踝、8:右踝。
步骤E、根据人体关键点的位置坐标,利用阈值法判断不同视觉角度下图像块中的老人是否摔倒,具体操作如下:
步骤E01、从视频序列中提取每次老人走入视频检测区域后的前8帧图像,并计算8帧图像中两胯中点与两踝中点的最小垂直高度,记为ymin,如图4所示,ymin表示老人正常直立行走时腿部的最小垂直高度,是本发明中的重要阈值。
步骤E02、根据人体关键点的位置坐标分别计算当前帧图像块中人体两肩中点、两胯中点和两踝中点的位置坐标,此处的当前帧指的是一个图像块在采集的原始视频序列中所处的帧位置。
步骤E03、当y10-y11<0时,判断老人面对着摄像头方向摔倒,其中,y10表示当前帧图像块中人体两胯中点的纵坐标,y11表示当前帧图像块中人体两踝中点的纵坐标。如图5所示,y10-y11<0表示视频帧图像块中两踝中点位置的坐标高度高于两胯中点位置的坐标高度。
步骤E04、当y10-y11<ymin且时,判断老人侧对着摄像头方向摔倒,其中,ymin表示老人直立行走时两胯中点与两踝中点的最小垂直高度,θ表示躯干偏离角度,(x9,y9)表示当前帧图像块中人体两肩中点的位置坐标,x10表示当前帧图像块中人体两胯中点的横坐标。如图6所示,y10-y11<ymin表示视频帧图像块中两胯中点与两踝中点的垂直高度小于ymin,老人处于非正常行走或站立状态,即老人可能躺倒或者蹲坐,为了排除正常蹲坐姿态,本发明使用躯干的角度进行判断,若躯干偏移竖直角度过大(即θ<45°)则为摔倒。
步骤E05、当 且时,判断老人背对着摄像头方向摔倒,其中,(x5,y5)表示当前帧图像块中人体左膝盖的位置坐标,(x6,y6)表示当前帧图像块中人体右膝盖的位置坐标,(x7,y7)表示当前帧图像块中人体左脚踝的位置坐标,(x8,y8)表示表示当前帧图像块中人体右脚踝的位置坐标,x11表示当前帧图像块中人体两踝中点的横坐标;以采集的原始视频序列为准,(x'5,y'5)表示从当前帧图像块开始向前第m帧图像中人体左膝盖的位置坐标,(x'6,y'6)表示从当前帧图像块开始向前第m帧图像中人体右膝盖的位置坐标,(x'7,y'7)表示从当前帧图像块开始向前第m帧图像中人体左脚踝的位置坐标,(x'8,y'8)表示从当前帧图像块开始向前第m帧图像中人体右脚踝的位置坐标,(x'9,y'9)表示从当前帧图像块开始向前第m帧图像中人体两肩中点的位置坐标,(x'10,y'10)表示从当前帧图像块开始向前第m帧图像中人体两胯中点的位置坐标,(x'11,y'11)表示从当前帧图像块开始向前第m帧图像中人体两踝中点的位置坐标。如图7所示,上述条件表示以m帧为时间间隔,当老人在这段时间内移动较短范围时,当前帧相比于向前第m帧的身体躯干长度和两小腿长度的都有所缩小;为了防止摔倒时小范围的位置偏移,若当前帧的两踝中点的坐标(x11,y11)处在以m帧前两踝中点坐标(x'11,y'11)为圆心,为半径的圆形范围中,判断身体躯干及各肢体长度是否缩小,若都缩小则判为摔倒。
在本发明实施例中,m=8,即将视频序列中当前帧的人体关键点位置坐标与向前第8帧的人体关键点位置坐标比较,进行摔倒判断。
步骤F、当连续N帧图像块判断为老人摔倒时,生成报警信号。在本发明实施例中,N=3。
基于本发明方法,本发明还提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测装置,如图8所示,主要包括视频流采集模块、第一级特征提取模块、第二级特征提取模块、第三级特征提取模块、摔倒判断模块和报警模块。
视频流采集模块主要用于通过摄像头采集视频流片段,得到视频序列。
第一级特征提取模块主要用于通过轻量级卷积网络对视频序列进行预处理,得到全局特征图序列,轻量级卷积网络采用ShuffleNet-V2网络。
第二级特征提取模块主要用于对全局特征图序列中的每一幅全局特征图进行时空自适应处理,得到包含老人行为动作的图像块,第二级特征提取模块的操作与本发明方法的步骤C一致。
第三级特征提取模块主要用于利用人体姿态估计算法从图像块中得到人体关键点的位置坐标,人体姿态估计算法采用MoveNet,第三级特征提取模块的操作与本发明方法的步骤D一致。
摔倒判断模块主要用于根据人体关键点的位置坐标,利用阈值法判断不同视觉角度下图像块中的老人是否摔倒,摔倒判断模块可以判断出老人是面对着摄像头方向、侧对着摄像头方向或背对着摄像头方向摔倒,具体操作与本发明方法步骤E一致。
报警模型主要用于当连续N帧图像块判断为老人摔倒时,生成报警信号,其中,N=3。
基于本发明方法,本发明还提出了一种基于时空自适应和人体姿态估计的多视角摔倒检测装置,包括处理器及存储介质;其中,存储介质用于存储指令;处理器用于根据所述指令进行操作以执行本发明方法的步骤。
基于本发明方法,本发明还提出了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本发明方法的步骤。
与现有技术相比,本发明首先通过时空自适应处理从原始的视频序列中选取关键帧中包含老人行为动作的图像块,能够从时间和空间两个维度去除视频流中的冗余信息,不仅不需要逐帧处理,而且图像块的空间尺寸小于原图,能够显著降低网络模型的计算开销,保证算法在嵌入式设备或移动设备上运行时的实时性。其次,本发明利用人体姿态估计算法从图像块中得到人体关键点坐标,人体姿态估计算法使用计算量较大的ResNet网络提高了关键点坐标的准确性,实现良好的关键点可视化效果。最后,本发明采用阈值法判断不同视觉角度下图像块中人物是否摔倒,先通过人的腿部垂直高度来判断老人是否是正常行走、站立或蹲坐状态,再利用躯干倾斜角度精确判断老人是否摔倒,当距离摄像头一定距离时,利用摄像头视角下同一位置的人背向摄像头躺倒时与正常站立时相比身体躯干和各肢体的长度减小,可有效区分正常站立、蹲坐和躺倒姿势,精确判断老人是否摔倒。
本领域内的技术人员应明白,本申请的实施例可提供为方法、***、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。
Claims (10)
1.基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,包括如下步骤:
获取摄像头采集的视频流片段,得到视频序列;
通过轻量级卷积网络对视频序列进行预处理,得到全局特征图序列;
对全局特征图序列中的每一幅全局特征图进行时空自适应处理,得到包含老人行为动作的图像块;
利用人体姿态估计算法从图像块中得到人体关键点的位置坐标;
根据人体关键点的位置坐标,利用阈值法判断不同视觉角度下图像块中的老人是否摔倒;
当连续N帧图像块判断为老人摔倒时,生成报警信号。
2.根据权利要求1所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,利用空间自适应的奖励函数和时间自适应的奖励函数处理全局特征图序列中的每一幅全局特征图,选择出包含老人行为动作的图像块,其中,空间自适应的奖励函数和时间自适应的奖励函数的表达式如下:
3.根据权利要求1所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,所述人体姿态估计算法采用MoveNet算法。
4.根据权利要求3所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,利用人体姿态估计算法从图像块中得到人体关键点的位置坐标的方法为:
将ResNet网络与特征金字塔网络横向连接后对关键帧中的图像块进行处理,得到关键特征图;
通过四个预测头对关键特征图中人体关键点的位置坐标进行预测;
通过后处理精确定位并输出一组最靠近图像块中心的人体关键点位置坐标。
5.根据权利要求1所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,人体关键点包括左肩、右肩、左胯、右胯、左膝、右膝、左踝和右踝。
6.根据权利要求1或5所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,根据人体关键点的位置坐标,利用阈值法判断不同视觉角度下图像块中的老人是否摔倒,包括:
当y10-y11<0时,判断老人面对着摄像头方向摔倒,其中,y10表示当前帧图像块中人体两胯中点的纵坐标,y11表示当前帧图像块中人体两踝中点的纵坐标;
当y10-y11<ymin且时,判断老人侧对着摄像头方向摔倒,其中,ymin表示老人直立行走时两胯中点与两踝中点的最小垂直高度,θ表示躯干偏离角度,(x9,y9)表示当前帧图像块中人体两肩中点的位置坐标,x10表示当前帧图像块中人体两胯中点的横坐标;
当且时,判断老人背对着摄像头方向摔倒,其中,(x5,y5)表示当前帧图像块中人体左膝盖的位置坐标,(x6,y6)表示当前帧图像块中人体右膝盖的位置坐标,(x7,y7)表示当前帧图像块中人体左脚踝的位置坐标,(x8,y8)表示表示当前帧图像块中人体右脚踝的位置坐标,x11表示当前帧图像块中人体两踝中点的横坐标;以采集的原始视频序列为准,(x'5,y'5)表示从当前帧图像块开始向前第m帧图像中人体左膝盖的位置坐标,(x'6,y'6)表示从当前帧图像块开始向前第m帧图像中人体右膝盖的位置坐标,(x'7,y'7)表示从当前帧图像块开始向前第m帧图像中人体左脚踝的位置坐标,(x'8,y'8)表示从当前帧图像块开始向前第m帧图像中人体右脚踝的位置坐标,(x'9,y'9)表示从当前帧图像块开始向前第m帧图像中人体两肩中点的位置坐标,(x'10,y'10)表示从当前帧图像块开始向前第m帧图像中人体两胯中点的位置坐标,(x'11,y'11)表示从当前帧图像块开始向前第m帧图像中人体两踝中点的位置坐标。
7.根据权利要求1所述的基于时空自适应和人体姿态估计的多视角摔倒检测方法,其特征在于,轻量级卷积网络采用ShuffleNet-V2网络。
8.基于时空自适应和人体姿态估计的多视角摔倒检测装置,其特征在于,包括:
视频流采集模块,用于通过摄像头采集视频流片段,得到视频序列;
第一级特征提取模块,用于通过轻量级卷积网络对视频序列进行预处理,得到全局特征图序列;
第二级特征提取模块,用于对全局特征图序列中的每一幅全局特征图进行时空自适应处理,得到包含老人行为动作的图像块;
第三级特征提取模块,用于利用人体姿态估计算法从图像块中得到人体关键点的位置坐标;
摔倒判断模块,用于根据人体关键点的位置坐标,利用阈值法判断不同视觉角度下图像块中的老人是否摔倒;
报警模型,用于当连续N帧图像块判断为老人摔倒时,生成报警信号。
9.基于时空自适应和人体姿态估计的多视角摔倒检测装置,其特征在于,包括处理器及存储介质;
所述存储介质用于存储指令;
所述处理器用于根据所述指令进行操作以执行根据权利要求1~7任一项所述方法的步骤。
10.计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1~7任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210352997.1A CN114792429A (zh) | 2022-04-06 | 2022-04-06 | 多视角摔倒检测方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210352997.1A CN114792429A (zh) | 2022-04-06 | 2022-04-06 | 多视角摔倒检测方法、装置及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114792429A true CN114792429A (zh) | 2022-07-26 |
Family
ID=82460852
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210352997.1A Pending CN114792429A (zh) | 2022-04-06 | 2022-04-06 | 多视角摔倒检测方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114792429A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117037272A (zh) * | 2023-08-08 | 2023-11-10 | 深圳市震有智联科技有限公司 | 一种老人摔倒监测方法及*** |
CN117173795A (zh) * | 2023-11-03 | 2023-12-05 | 赋之科技(深圳)有限公司 | 一种危险动作检测方法及终端 |
-
2022
- 2022-04-06 CN CN202210352997.1A patent/CN114792429A/zh active Pending
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117037272A (zh) * | 2023-08-08 | 2023-11-10 | 深圳市震有智联科技有限公司 | 一种老人摔倒监测方法及*** |
CN117037272B (zh) * | 2023-08-08 | 2024-03-19 | 深圳市震有智联科技有限公司 | 一种老人摔倒监测方法及*** |
CN117173795A (zh) * | 2023-11-03 | 2023-12-05 | 赋之科技(深圳)有限公司 | 一种危险动作检测方法及终端 |
CN117173795B (zh) * | 2023-11-03 | 2024-02-23 | 赋之科技(深圳)有限公司 | 一种危险动作检测方法及终端 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108830252B (zh) | 一种融合全局时空特征的卷积神经网络人体动作识别方法 | |
US8300892B2 (en) | Moving object detection apparatus and moving object detection method | |
CN114792429A (zh) | 多视角摔倒检测方法、装置及存储介质 | |
US8363902B2 (en) | Moving object detection method and moving object detection apparatus | |
WO2019072243A1 (zh) | 动作识别、姿势估计的方法及装置 | |
Shoaib et al. | View-invariant fall detection for elderly in real home environment | |
CN110738154A (zh) | 一种基于人体姿态估计的行人摔倒检测方法 | |
CN114469076B (zh) | 一种融合身份特征的独居老人跌倒识别方法及*** | |
CN109255360B (zh) | 一种目标分类方法、装置及*** | |
CN112949417A (zh) | 一种摔倒行为识别方法、设备及*** | |
CN113657150A (zh) | 一种跌倒检测方法、装置和计算机可读存储介质 | |
CN110874910B (zh) | 路面报警方法、装置、电子设备及可读存储介质 | |
CN115116127A (zh) | 一种基于计算机视觉和人工智能的跌倒检测方法 | |
Li et al. | Fusion of RGB, optical flow and skeleton features for the detection of lameness in dairy cows | |
CN115346272A (zh) | 基于深度图像序列的实时摔倒检测方法 | |
Dileep et al. | Suspicious human activity recognition using 2D pose estimation and convolutional neural network | |
JP7263094B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
CN115546491B (zh) | 一种跌倒报警方法、***、电子设备及存储介质 | |
JP2021149687A (ja) | 物体認識装置、物体認識方法及び物体認識プログラム | |
CN115731563A (zh) | 一种远距离监控人员倒地识别方法 | |
Hao et al. | Prediction of a bed-exit motion: Multi-modal sensing approach and incorporation of biomechanical knowledge | |
CN111178134B (zh) | 一种基于深度学习与网络压缩的摔倒检测方法 | |
CN113536950A (zh) | 一种基于人工智能的人员触电检测方法和*** | |
Xu et al. | Fall detection based on person detection and multi-target tracking | |
Hirunwattanakun et al. | A robus method for wheelchair detection: A combination of the gaussian mixture models and histogram of oriented gradients |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |