CN113177442A - 一种基于边缘计算的人体行为检测方法及装置 - Google Patents
一种基于边缘计算的人体行为检测方法及装置 Download PDFInfo
- Publication number
- CN113177442A CN113177442A CN202110389062.6A CN202110389062A CN113177442A CN 113177442 A CN113177442 A CN 113177442A CN 202110389062 A CN202110389062 A CN 202110389062A CN 113177442 A CN113177442 A CN 113177442A
- Authority
- CN
- China
- Prior art keywords
- joint point
- representing
- distance
- human
- human body
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 96
- 238000004364 calculation method Methods 0.000 title claims abstract description 31
- 238000012549 training Methods 0.000 claims abstract description 141
- 239000011159 matrix material Substances 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000000605 extraction Methods 0.000 claims abstract description 17
- 210000002414 leg Anatomy 0.000 claims description 95
- 210000004394 hip joint Anatomy 0.000 claims description 52
- 210000000038 chest Anatomy 0.000 claims description 45
- 210000000544 articulatio talocruralis Anatomy 0.000 claims description 44
- 210000002310 elbow joint Anatomy 0.000 claims description 44
- 210000000323 shoulder joint Anatomy 0.000 claims description 44
- 210000003857 wrist joint Anatomy 0.000 claims description 44
- 210000000629 knee joint Anatomy 0.000 claims description 38
- 210000001624 hip Anatomy 0.000 claims description 24
- 238000002372 labelling Methods 0.000 claims description 9
- 238000013527 convolutional neural network Methods 0.000 claims description 7
- 210000003127 knee Anatomy 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 3
- 238000007405 data analysis Methods 0.000 abstract description 4
- 230000006399 behavior Effects 0.000 description 226
- 238000004458 analytical method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000005452 bending Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 206010000117 Abnormal behaviour Diseases 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于边缘计算的人体行为检测方法及装置,其中,所述方法包括:对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点对应的坐标数据;基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域;对所述六个圆形近似区域分别进行区域特征提取处理,并基于获得的区域特征构建姿态特征矩阵;将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测,输出人体行为检测结果。在本发明实施例中,实现了判断人体行为时,简化了行为分析处理数据的复杂度,同时提高了人体行为分类识别的准确率。
Description
技术领域
本发明涉及计算机视觉技术领域,尤其涉及一种基于边缘计算的人体行为检测方法及装置。
背景技术
目前人体行为分析技术和方法主要可归纳为以下几类:(1)利用深度学习技术和卷积神经网络,提取连续的动作视频分析,这种方法需要连续提取每一帧的视频行为特征,结合帧间数据进行人体行为识别,这往往需要占用大量的计算内存,模型推理时间较长,行为的识别滞后。(2)提取人体姿态关节点,建立数学模型对人体姿态关节数据进行训练分类,处理的数据维度和数据量较多,并且将人体分为离散的关节点数据进行处理,未能考虑人体局部的整体动作特征,而人的身体是局部联动的。(3)利用人体区域宽高比、人体与地面夹角等数学特点判断人体的异常行为,也未能考虑人体的局部姿态特征。
发明内容
本发明的目的在于克服现有技术的不足,本发明提供了一种基于边缘计算的人体行为检测方法及装置,实现了判断人体行为时,简化了行为分析处理数据的复杂度,同时提高了人体行为分类识别的准确率。
为了解决上述技术问题,本发明实施例提供了一种基于边缘计算的人体行为检测方法,所述方法包括:
对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点对应的坐标数据;
基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域,所述六个圆形近似区域分别为头部圆形近似区域、左臂圆形近似区域、右臂圆形近似区域、胸部圆形近似区域、左腿圆形近似区域、右腿圆形近似区域;
对所述六个圆形近似区域分别进行区域特征提取处理,并基于获得的区域特征构建姿态特征矩阵;
将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测,输出人体行为检测结果。
可选的,所述对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点对应的坐标数据,包括:
利用卷积神经网络模型对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点在图像信息中对应的坐标数据;
所述人体姿态关节点为按照预设标号顺序进行排序标号的人体姿态关节点,其中,所述人体姿态关节点包括颈部关节点、右肩关节点、右肘关节点、右腕关节点、左肩关节点、左肘关节点、左腕关节点、左臀关节点、左膝关节点、左脚踝关节点、右臀关节点、右膝关节点、右脚踝关节点、右耳关节点、左耳关节点。
可选的,所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域,包括:
根据颈部关节点的坐标、右耳关节点的坐标和左耳关节点的坐标计算划分,获得头部圆形近似区域;
根据右肩关节点的坐标、右肘关节点的坐标和右腕关节点的坐标计算划分,获得右臂圆形近似区域;
根据颈部关节点的坐标、左臀关节点的坐标和右臀关节点的坐标计算划分,获得胸部圆形近似区域;
根据左肩关节点的坐标、左肘关节点的坐标和左腕关节点的坐标计算划分,获得左臂圆形近似区域;
根据右臀关节点的坐标、右膝关节点的坐标和右脚踝关节点的坐标计算划分,获得右腿圆形近似区域;
根据左臀关节点的坐标、左膝关节点的坐标和左脚踝关节点的坐标计算划分,获得左腿圆形近似区域。
可选的,所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域的具体计算划分公式如下:
其中,C1表示头部圆形近似区域;O1表示头部圆形近似区域的圆心;R1表示头部圆形近似区域的半径;(x1,y1)表示颈部关节点的坐标;(x14,y14)表示右耳关节点的坐标;(x15,y15)表示左耳关节点的坐标;s(O1,1)表示头部圆形近似区域的圆心到颈部关节点的距离;s(O1,14)表示头部圆形近似区域的圆心到右耳关节点的距离;s(O1,15)表示头部圆形近似区域的圆心到左耳关节点的距离;C2表示头右臂圆形近似区域;O2表示右臂圆形近似区域的圆心;R2表示右臂圆形近似区域的半径;(x2,y2)表示右肩关节点的坐标;(x3,y3)表示右肘关节点的坐标;(x4,y4)表示右腕关节点的坐标;s(O2,2)表示右臂圆形近似区域的圆心到右肩关节点的距离;s(O2,3)表示右臂圆形近似区域的圆心到右肘关节点的距离;s(O2,4)表示右臂圆形近似区域的圆心到右腕关节点的距离;C3表示胸部圆形近似区域;O3表示胸部圆形近似区域的圆心;R3表示胸部圆形近似区域的半径;(x1,y1)表示颈部关节点的坐标;(x8,y8)表示右臀关节点的坐标;(x11,y11)表示左臀关节点的坐标;s(O3,1)表示胸部圆形近似区域的圆心到颈部关节点的距离;s(O3,8)表示胸部圆形近似区域的圆心到右臀关节点的距离;s(O3,11)表示胸部圆形近似区域的圆心到左臀关节点的距离;C4表示左臂圆形近似区域;O4表示左臂圆形近似区域的圆心;R4表示左臂圆形近似区域的半径;(x5,y5)表示左肩关节点的坐标;(x6,y6)表示左肘关节点的坐标;(x7,y7)表示左腕关节点的坐标;s(O4,5)表示左臂圆形近似区域的圆心到左肩关节点的距离;s(O4,6)表示左臂圆形近似区域的圆心到左肘关节点的距离;s(O4,7)表示左臂圆形近似区域的圆心到左腕关节点的距离;C5表示右腿圆形近似区域;O5表示右腿圆形近似区域的圆心;R5表示右腿圆形近似区域的半径;(x8,y8)表示右臀关节点的坐标;(x9,y9)表示右膝关节点的坐标;(x10,y10)表示右脚踝关节点的坐标;s(O5,8)表示右腿圆形近似区域的圆心到右臀关节点的距离;s(O5,9)表示右腿圆形近似区域的圆心到右膝关节点的距离;s(O5,10)表示右腿圆形近似区域的圆心到右脚踝关节点的距离;C6表示左腿圆形近似区域;O6表示左腿圆形近似区域的圆心;R6表示左腿圆形近似区域的半径;(x11,y11)表示左臀关节点的坐标;(x12,y12)表示左膝关节点的坐标;(x13,y13)表示左脚踝关节点的坐标;s(O6,11)表示左腿圆形近似区域的圆心到左臀关节点的距离;s(O6,12)表示左腿圆形近似区域的圆心到左膝关节点的距离;s(O6,13)表示左腿圆形近似区域的圆心到左脚踝关节点的距离。
可选的,所述对所述六个圆形近似区域分别进行区域特征提取处理,并基于获得的区域特征构建姿态特征矩阵,包括:
提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心连线与图像信息的水平方向的夹角;
提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心之间的归一化距离;
提取所述六个圆形近似区域的每两个圆形近似区域之间的相交情况;
基于所述夹角、所述归一化距离和所述相交情况组成姿态特征矩阵。
可选的,所述人体行为检测模型的训练过程包括:
获得训练图像数据集,所述训练图像数据集包含有行走图像信息、跌倒图像信息、站立图像信息、下蹲图像信息、跑步图像信息、弯腰图像信息、捡东西图像信息、坐着图像信息;
对所述训练图像数据集内的训练图像数据的人体姿态关节点进行检测,获得训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据;
根据训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据将人体划分为训练图像数据对应的六个圆形近似区域;
基于训练图像数据对应的六个圆形近似区域进行区域特征提取处理,并基于获得的训练图像数据对应的区域特征构建训练姿态特征矩阵;
基于所述训练姿态特征矩阵形成训练人体行为特征数据集;
将所述训练人体行为特征数据集输入人体行为检测模型中进行训练,直至所述人体行为检测模型收敛为止。
可选的,所述将所述训练人体行为特征数据集输入人体行为检测模型中进行训练,包括:
将所述训练人体行为特征数据集输入人体行为检测模型中之后,通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理,获得粗略行为分类结果;
基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理,获得精细行为分类结果。
可选的,所述通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理,获得粗略行为分类结果,包括:
在所述人体行为检测模型中利用第一特征距离模型对所述训练人体行为特征数据集任意两个训练姿态特征矩阵进行距离计算,获得第一特征距离;
基于第一特征距离进行粗略行为分类处理,获得粗略行为分类结果;
其中,第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理,获得粗略行为分类结果的公式处理过程如下:
fm,fy表示训练人体行为特征数据集中任意两个训练姿态特征矩阵;j表示训练人体行为特征数据集中非零元素序号,序号从第一行自左向右,自上向下依次排序,共有21个非零元素;i为第j个元素里的夹角、归一化距离和相交情况,i=1表示夹角,i=2表示归一化距离,i=3表示相交情况;l1(fm,fy)表示fm,fy之间的第一特征距离;β为预设第一距离阈值,在l1(fm,fy)小于β时,将fy加入第一领近特征集合中,得到粗略行为分类结果。
可选的,所述基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理,获得精细行为分类结果,包括:
利用所述第二特征距离模型对所述粗略行为分类结果中任意两个特征矩阵进行特征距离计算,获得第二特征距离;
基于第二特征距离进行精细行为分类处理,获得精细行为分类结果;
其中,基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理,获得精细行为分类结果的公式处理过程如下:
gm,gd表示粗略行为分类结果中任意两个训练姿态特征矩阵;F(gd;σ)表示gd的旋转变换;σ表示旋转角度;T表示gd的切空间向量;χ表示预设第二距离阈值;l2(gm,gd)表示gm,gd之间的第二特征距离;当满足l2(gm,gd)小于χ时,将gd加入第二领近特征集合中,得到精细行为分类结果。
另外,本发明实施例还提供了一种基于边缘计算的人体行为检测装置,所述装置包括:
关节点检测模块:用于对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点对应的坐标数据;
划分模块:用于基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域,所述六个圆形近似区域分别为头部圆形近似区域、左臂圆形近似区域、右臂圆形近似区域、胸部圆形近似区域、左腿圆形近似区域、右腿圆形近似区域;
矩阵构建模块:用于对所述六个圆形近似区域分别进行区域特征提取处理,并基于获得的区域特征构建姿态特征矩阵;
人体行为检测模块:用于将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测,输出人体行为检测结果。
在本发明实施例中,通过人体姿态关节点数据,对人体姿态进行了局部区域圆形近似,将人体划分为六个局部区域,通过分析六个局部圆的位置关系,判断人体行为,简化了行为分析处理数据的复杂度;在人体行为检测模型中建立了第一特征距离模型与第二特征距离模型结合的方式,首先通过第一特征距离模型对人体行为特征进行粗略分类,消除部分差异度大、类间区分特征明显的行为,然后再通过第二特征距离模型对人体行为进行精细分类,提高了人体行为分类识别的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见的,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本发明实施例中的基于边缘计算的人体行为检测方法的流程示意图;
图2是本发明实施例中的基于边缘计算的人体行为检测装置的结构组成示意图;
图3是本发明实施例中的人体姿态关节点的标号图;
图4是本发明实施例中的人体划分为六个圆形近似区域的示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
实施例一
请参阅图1,图1是本发明实施例中的基于边缘计算的人体行为检测方法的流程示意图。
如图1所示,一种基于边缘计算的人体行为检测方法,所述方法包括:
S11:对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点对应的坐标数据;
在本发明具体实施过程中,所述对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点对应的坐标数据,包括:利用卷积神经网络模型对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点在图像信息中对应的坐标数据;所述人体姿态关节点为按照预设标号顺序进行排序标号的人体姿态关节点,其中,所述人体姿态关节点包括颈部关节点、右肩关节点、右肘关节点、右腕关节点、左肩关节点、左肘关节点、左腕关节点、左臀关节点、左膝关节点、左脚踝关节点、右臀关节点、右膝关节点、右脚踝关节点、右耳关节点、左耳关节点。
具体的,通过卷积神经网络模型来对图像信息中的人体姿态关节点进行检测,并且得到人体姿态关节点及该人体姿态关节点在图像信息中对应的坐标数据;该人体姿态关节点在图像信息中对应的坐标数据如[(x1,y1),(x2,y2),...,(xn,yn),...(xN,yN)],其中N表示检测到的人体关节点数,n为人体的第n个关节点索引,具体参见图3,将人体姿态关节点为按照预设标号顺序进行排序标号的人体姿态关节点,其中,体姿态关节点包括颈部关节点1、右肩关节点2、右肘关节点3、右腕关节点4、左肩关节点5、左肘关节点6、左腕关节点7、左臀关节点11、左膝关节点12、左脚踝关节点13、右臀关节点8、右膝关节点9、右脚踝关节点10、右耳关节点14、左耳关节点15。
S12:基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域;
在本发明具体实施过程中,所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域,包括:根据颈部关节点的坐标、右耳关节点的坐标和左耳关节点的坐标计算划分,获得头部圆形近似区域;根据右肩关节点的坐标、右肘关节点的坐标和右腕关节点的坐标计算划分,获得右臂圆形近似区域;根据颈部关节点的坐标、左臀关节点的坐标和右臀关节点的坐标计算划分,获得胸部圆形近似区域;根据左肩关节点的坐标、左肘关节点的坐标和左腕关节点的坐标计算划分,获得左臂圆形近似区域;根据右臀关节点的坐标、右膝关节点的坐标和右脚踝关节点的坐标计算划分,获得右腿圆形近似区域;根据左臀关节点的坐标、左膝关节点的坐标和左脚踝关节点的坐标计算划分,获得左腿圆形近似区域。
进一步的,所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域的具体计算划分公式如下:
其中,C1表示头部圆形近似区域;O1表示头部圆形近似区域的圆心;R1表示头部圆形近似区域的半径;(x1,y1)表示颈部关节点的坐标;(x14,y14)表示右耳关节点的坐标;(x15,y15)表示左耳关节点的坐标;s(O1,1)表示头部圆形近似区域的圆心到颈部关节点的距离;s(O1,14)表示头部圆形近似区域的圆心到右耳关节点的距离;s(O1,15)表示头部圆形近似区域的圆心到左耳关节点的距离;C2表示头右臂圆形近似区域;O2表示右臂圆形近似区域的圆心;R2表示右臂圆形近似区域的半径;(x2,y2)表示右肩关节点的坐标;(x3,y3)表示右肘关节点的坐标;(x4,y4)表示右腕关节点的坐标;s(O2,2)表示右臂圆形近似区域的圆心到右肩关节点的距离;s(O2,3)表示右臂圆形近似区域的圆心到右肘关节点的距离;s(O2,4)表示右臂圆形近似区域的圆心到右腕关节点的距离;C3表示胸部圆形近似区域;O3表示胸部圆形近似区域的圆心;R3表示胸部圆形近似区域的半径;(x1,y1)表示颈部关节点的坐标;(x8,y8)表示右臀关节点的坐标;(x11,y11)表示左臀关节点的坐标;s(O3,1)表示胸部圆形近似区域的圆心到颈部关节点的距离;s(O3,8)表示胸部圆形近似区域的圆心到右臀关节点的距离;s(O3,11)表示胸部圆形近似区域的圆心到左臀关节点的距离;C4表示左臂圆形近似区域;O4表示左臂圆形近似区域的圆心;R4表示左臂圆形近似区域的半径;(x5,y5)表示左肩关节点的坐标;(x6,y6)表示左肘关节点的坐标;(x7,y7)表示左腕关节点的坐标;s(O4,5)表示左臂圆形近似区域的圆心到左肩关节点的距离;s(O4,6)表示左臂圆形近似区域的圆心到左肘关节点的距离;s(O4,7)表示左臂圆形近似区域的圆心到左腕关节点的距离;C5表示右腿圆形近似区域;O5表示右腿圆形近似区域的圆心;R5表示右腿圆形近似区域的半径;(x8,y8)表示右臀关节点的坐标;(x9,y9)表示右膝关节点的坐标;(x10,y10)表示右脚踝关节点的坐标;s(O5,8)表示右腿圆形近似区域的圆心到右臀关节点的距离;s(O5,9)表示右腿圆形近似区域的圆心到右膝关节点的距离;s(O5,10)表示右腿圆形近似区域的圆心到右脚踝关节点的距离;C6表示左腿圆形近似区域;O6表示左腿圆形近似区域的圆心;R6表示左腿圆形近似区域的半径;(x11,y11)表示左臀关节点的坐标;(x12,y12)表示左膝关节点的坐标;(x13,y13)表示左脚踝关节点的坐标;s(O6,11)表示左腿圆形近似区域的圆心到左臀关节点的距离;s(O6,12)表示左腿圆形近似区域的圆心到左膝关节点的距离;s(O6,13)表示左腿圆形近似区域的圆心到左脚踝关节点的距离。
具体的,如图4所示,根据人体姿态关节点及人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域,具体包括头部圆形近似区域C1、左臂圆形近似区域C4、右臂圆形近似区域C2、胸部圆形近似区域C3、左腿圆形近似区域C6、右腿圆形近似区域C5;其中头部圆形近似区域C1由关节点1、14、15坐标计算得到(当14或15空缺时,由0代替),右臂圆形近似区域C2由关节点2、3、4坐标计算得到,胸部圆形近似区域C3由关节点1、8、11坐标计算得到,左臂圆形近似区域C4由关节点5、6、7坐标计算得到,右腿圆形近似区域C5由关节点8、9、10坐标计算得到,左腿圆形近似区域C6由关节点11、12、13坐标计算得到,具体计算方法如下:
其中,C1表示头部圆形近似区域;O1表示头部圆形近似区域的圆心;R1表示头部圆形近似区域的半径;(x1,y1)表示颈部关节点的坐标;(x14,y14)表示右耳关节点的坐标;(x15,y15)表示左耳关节点的坐标;s(O1,1)表示头部圆形近似区域的圆心到颈部关节点的距离;s(O1,14)表示头部圆形近似区域的圆心到右耳关节点的距离;s(O1,15)表示头部圆形近似区域的圆心到左耳关节点的距离;C2表示头右臂圆形近似区域;O2表示右臂圆形近似区域的圆心;R2表示右臂圆形近似区域的半径;(x2,y2)表示右肩关节点的坐标;(x3,y3)表示右肘关节点的坐标;(x4,y4)表示右腕关节点的坐标;s(O2,2)表示右臂圆形近似区域的圆心到右肩关节点的距离;s(O2,3)表示右臂圆形近似区域的圆心到右肘关节点的距离;s(O2,4)表示右臂圆形近似区域的圆心到右腕关节点的距离;C3表示胸部圆形近似区域;O3表示胸部圆形近似区域的圆心;R3表示胸部圆形近似区域的半径;(x1,y1)表示颈部关节点的坐标;(x8,y8)表示右臀关节点的坐标;(x11,y11)表示左臀关节点的坐标;s(O3,1)表示胸部圆形近似区域的圆心到颈部关节点的距离;s(O3,8)表示胸部圆形近似区域的圆心到右臀关节点的距离;s(O3,11)表示胸部圆形近似区域的圆心到左臀关节点的距离;C4表示左臂圆形近似区域;O4表示左臂圆形近似区域的圆心;R4表示左臂圆形近似区域的半径;(x5,y5)表示左肩关节点的坐标;(x6,y6)表示左肘关节点的坐标;(x7,y7)表示左腕关节点的坐标;s(O4,5)表示左臂圆形近似区域的圆心到左肩关节点的距离;s(O4,6)表示左臂圆形近似区域的圆心到左肘关节点的距离;s(O4,7)表示左臂圆形近似区域的圆心到左腕关节点的距离;C5表示右腿圆形近似区域;O5表示右腿圆形近似区域的圆心;R5表示右腿圆形近似区域的半径;(x8,y8)表示右臀关节点的坐标;(x9,y9)表示右膝关节点的坐标;(x10,y10)表示右脚踝关节点的坐标;s(O5,8)表示右腿圆形近似区域的圆心到右臀关节点的距离;s(O5,9)表示右腿圆形近似区域的圆心到右膝关节点的距离;s(O5,10)表示右腿圆形近似区域的圆心到右脚踝关节点的距离;C6表示左腿圆形近似区域;O6表示左腿圆形近似区域的圆心;R6表示左腿圆形近似区域的半径;(x11,y11)表示左臀关节点的坐标;(x12,y12)表示左膝关节点的坐标;(x13,y13)表示左脚踝关节点的坐标;s(O6,11)表示左腿圆形近似区域的圆心到左臀关节点的距离;s(O6,12)表示左腿圆形近似区域的圆心到左膝关节点的距离;s(O6,13)表示左腿圆形近似区域的圆心到左脚踝关节点的距离。
S13:对所述六个圆形近似区域分别进行区域特征提取处理,并基于获得的区域特征构建姿态特征矩阵;
在本发明具体实施过程中,所述对所述六个圆形近似区域分别进行区域特征提取处理,并基于获得的区域特征构建姿态特征矩阵,包括:提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心连线与图像信息的水平方向的夹角;提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心之间的归一化距离;提取所述六个圆形近似区域的每两个圆形近似区域之间的相交情况;基于所述夹角、所述归一化距离和所述相交情况组成姿态特征矩阵。
具体的,对六个圆形近似区域进行特征提取,即提取每两个圆心连接线与图像水平方向的夹角θ,提取每两个圆心之间的归一化距离L,提取每两个圆之间的相交情况(相交记为1,不相交记为0)I,组成人体行为特征矩阵q,将人体行为特征的表示简化为人体区域圆之间的关系变化。
S14:将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测,输出人体行为检测结果。
在本发明具体实施过程中,所述人体行为检测模型的训练过程包括:获得训练图像数据集,所述训练图像数据集包含有行走图像信息、跌倒图像信息、站立图像信息、下蹲图像信息、跑步图像信息、弯腰图像信息、捡东西图像信息、坐着图像信息;对所述训练图像数据集内的训练图像数据的人体姿态关节点进行检测,获得训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据;根据训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据将人体划分为训练图像数据对应的六个圆形近似区域;基于训练图像数据对应的六个圆形近似区域进行区域特征提取处理,并基于获得的训练图像数据对应的区域特征构建训练姿态特征矩阵;基于所述训练姿态特征矩阵形成训练人体行为特征数据集;将所述训练人体行为特征数据集输入人体行为检测模型中进行训练,直至所述人体行为检测模型收敛为止。
进一步的,所述将所述训练人体行为特征数据集输入人体行为检测模型中进行训练,包括:将所述训练人体行为特征数据集输入人体行为检测模型中之后,通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理,获得粗略行为分类结果;基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理,获得精细行为分类结果。
进一步的,所述通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理,获得粗略行为分类结果,包括:在所述人体行为检测模型中利用第一特征距离模型对所述训练人体行为特征数据集任意两个训练姿态特征矩阵进行距离计算,获得第一特征距离;基于第一特征距离进行粗略行为分类处理,获得粗略行为分类结果;其中,第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理,获得粗略行为分类结果的公式处理过程如下:
fm,fy表示训练人体行为特征数据集中任意两个训练姿态特征矩阵;j表示训练人体行为特征数据集中非零元素序号,序号从第一行自左向右,自上向下依次排序,共有21个非零元素;i为第j个元素里的夹角、归一化距离和相交情况,i=1表示夹角,i=2表示归一化距离,i=3表示相交情况;l1(fm,fy)表示fm,fy之间的第一特征距离;β为预设第一距离阈值,在l1(fm,fy)小于β时,将fy加入第一领近特征集合中,得到粗略行为分类结果。
进一步的,所述基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理,获得精细行为分类结果,包括:利用所述第二特征距离模型对所述粗略行为分类结果中任意两个特征矩阵进行特征距离计算,获得第二特征距离;基于第二特征距离进行精细行为分类处理,获得精细行为分类结果;其中,基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理,获得精细行为分类结果的公式处理过程如下:
gm,gd表示粗略行为分类结果中任意两个训练姿态特征矩阵;F(gd;σ)表示gd的旋转变换;σ表示旋转角度;T表示gd的切空间向量;χ表示预设第二距离阈值;l2(gm,gd)表示gm,gd之间的第二特征距离;当满足l2(gm,gd)小于χ时,将gd加入第二领近特征集合中,得到精细行为分类结果。
具体的,得到训练数据,提取训练数据中的不同人体行为的特征矩阵,包括行走、跌倒、站立、下蹲、跑步、弯腰、捡东西、坐着等日常行为,形成人体行为特征数据集f=[f1,f2,...fm,...fM],fm表示第m个人体行为特征数据,共有M个人体行为;在人体行为检测模型中包含有第一特征距离模型和第二特征距离模型,在训练的时候,首先,利用第一特征距离模型得到M种人体行为的邻近特征集合A1=[a1,a2,...am,...aM],得到预选的粗略行为分类结果,A1与f一一对应,am存储fm的领近特征集合;如下:
fm,fy表示训练人体行为特征数据集中任意两个训练姿态特征矩阵;j表示训练人体行为特征数据集中非零元素序号,序号从第一行自左向右,自上向下依次排序,共有21个非零元素;i为第j个元素里的夹角、归一化距离和相交情况,i=1表示夹角,i=2表示归一化距离,i=3表示相交情况;l1(fm,fy)表示fm,fy之间的第一特征距离;β为预设第一距离阈值,在l1(fm,fy)小于β时,将fy加入第一领近特征集合中,得到粗略行为分类结果。
然后利用第二特征距离模型对粗略行为分类结果中任意两个特征矩阵进行特征距离计算,得到第二特征距离,根据第二特征距离进行精细行为分类处理,获得精细行为分类结果A2=[b1,b2,...bm,...bM];A2与A1一一对应,bm存储am的邻近特征集合,具体如下:
gm,gd表示粗略行为分类结果中任意两个训练姿态特征矩阵;F(gd;σ)表示gd的旋转变换;σ表示旋转角度;T表示gd的切空间向量;χ表示预设第二距离阈值;l2(gm,gd)表示gm,gd之间的第二特征距离;当满足l2(gm,gd)小于χ时,将gd加入第二领近特征集合中,得到精细行为分类结果。
在训练收敛后,将姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测,即可输出人体行为检测结果。
在本发明实施例中,通过人体姿态关节点数据,对人体姿态进行了局部区域圆形近似,将人体划分为六个局部区域,通过分析六个局部圆的位置关系,判断人体行为,简化了行为分析处理数据的复杂度;在人体行为检测模型中建立了第一特征距离模型与第二特征距离模型结合的方式,首先通过第一特征距离模型对人体行为特征进行粗略分类,消除部分差异度大、类间区分特征明显的行为,然后再通过第二特征距离模型对人体行为进行精细分类,提高了人体行为分类识别的准确率。
实施例二
请参阅图2,图2是本发明实施例中的基于边缘计算的人体行为检测装置的结构组成示意图。
如图2所示,一种基于边缘计算的人体行为检测装置,所述装置包括:
关节点检测模块21:用于对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点对应的坐标数据;
在本发明具体实施过程中,所述对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点对应的坐标数据,包括:利用卷积神经网络模型对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点在图像信息中对应的坐标数据;所述人体姿态关节点为按照预设标号顺序进行排序标号的人体姿态关节点,其中,所述人体姿态关节点包括颈部关节点、右肩关节点、右肘关节点、右腕关节点、左肩关节点、左肘关节点、左腕关节点、左臀关节点、左膝关节点、左脚踝关节点、右臀关节点、右膝关节点、右脚踝关节点、右耳关节点、左耳关节点。
具体的,通过卷积神经网络模型来对图像信息中的人体姿态关节点进行检测,并且得到人体姿态关节点及该人体姿态关节点在图像信息中对应的坐标数据;该人体姿态关节点在图像信息中对应的坐标数据如[(x1,y1),(x2,y2),...,(xn,yn),...(xN,yN)],其中N表示检测到的人体关节点数,n为人体的第n个关节点索引,具体参见图3,将人体姿态关节点为按照预设标号顺序进行排序标号的人体姿态关节点,其中,体姿态关节点包括颈部关节点1、右肩关节点2、右肘关节点3、右腕关节点4、左肩关节点5、左肘关节点6、左腕关节点7、左臀关节点11、左膝关节点12、左脚踝关节点13、右臀关节点8、右膝关节点9、右脚踝关节点10、右耳关节点14、左耳关节点15。
划分模块22:用于基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域;
在本发明具体实施过程中,所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域,包括:根据颈部关节点的坐标、右耳关节点的坐标和左耳关节点的坐标计算划分,获得头部圆形近似区域;根据右肩关节点的坐标、右肘关节点的坐标和右腕关节点的坐标计算划分,获得右臂圆形近似区域;根据颈部关节点的坐标、左臀关节点的坐标和右臀关节点的坐标计算划分,获得胸部圆形近似区域;根据左肩关节点的坐标、左肘关节点的坐标和左腕关节点的坐标计算划分,获得左臂圆形近似区域;根据右臀关节点的坐标、右膝关节点的坐标和右脚踝关节点的坐标计算划分,获得右腿圆形近似区域;根据左臀关节点的坐标、左膝关节点的坐标和左脚踝关节点的坐标计算划分,获得左腿圆形近似区域。
进一步的,所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域的具体计算划分公式如下:
其中,C1表示头部圆形近似区域;O1表示头部圆形近似区域的圆心;R1表示头部圆形近似区域的半径;(x1,y1)表示颈部关节点的坐标;(x14,y14)表示右耳关节点的坐标;(x15,y15)表示左耳关节点的坐标;s(O1,1)表示头部圆形近似区域的圆心到颈部关节点的距离;s(O1,14)表示头部圆形近似区域的圆心到右耳关节点的距离;s(O1,15)表示头部圆形近似区域的圆心到左耳关节点的距离;C2表示头右臂圆形近似区域;O2表示右臂圆形近似区域的圆心;R2表示右臂圆形近似区域的半径;(x2,y2)表示右肩关节点的坐标;(x3,y3)表示右肘关节点的坐标;(x4,y4)表示右腕关节点的坐标;s(O2,2)表示右臂圆形近似区域的圆心到右肩关节点的距离;s(O2,3)表示右臂圆形近似区域的圆心到右肘关节点的距离;s(O2,4)表示右臂圆形近似区域的圆心到右腕关节点的距离;C3表示胸部圆形近似区域;O3表示胸部圆形近似区域的圆心;R3表示胸部圆形近似区域的半径;(x1,y1)表示颈部关节点的坐标;(x8,y8)表示右臀关节点的坐标;(x11,y11)表示左臀关节点的坐标;s(O3,1)表示胸部圆形近似区域的圆心到颈部关节点的距离;s(O3,8)表示胸部圆形近似区域的圆心到右臀关节点的距离;s(O3,11)表示胸部圆形近似区域的圆心到左臀关节点的距离;C4表示左臂圆形近似区域;O4表示左臂圆形近似区域的圆心;R4表示左臂圆形近似区域的半径;(x5,y5)表示左肩关节点的坐标;(x6,y6)表示左肘关节点的坐标;(x7,y7)表示左腕关节点的坐标;s(O4,5)表示左臂圆形近似区域的圆心到左肩关节点的距离;s(O4,6)表示左臂圆形近似区域的圆心到左肘关节点的距离;s(O4,7)表示左臂圆形近似区域的圆心到左腕关节点的距离;C5表示右腿圆形近似区域;O5表示右腿圆形近似区域的圆心;R5表示右腿圆形近似区域的半径;(x8,y8)表示右臀关节点的坐标;(x9,y9)表示右膝关节点的坐标;(x10,y10)表示右脚踝关节点的坐标;s(O5,8)表示右腿圆形近似区域的圆心到右臀关节点的距离;s(O5,9)表示右腿圆形近似区域的圆心到右膝关节点的距离;s(O5,10)表示右腿圆形近似区域的圆心到右脚踝关节点的距离;C6表示左腿圆形近似区域;O6表示左腿圆形近似区域的圆心;R6表示左腿圆形近似区域的半径;(x11,y11)表示左臀关节点的坐标;(x12,y12)表示左膝关节点的坐标;(x13,y13)表示左脚踝关节点的坐标;s(O6,11)表示左腿圆形近似区域的圆心到左臀关节点的距离;s(O6,12)表示左腿圆形近似区域的圆心到左膝关节点的距离;s(O6,13)表示左腿圆形近似区域的圆心到左脚踝关节点的距离。
具体的,如图4所示,根据人体姿态关节点及人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域,具体包括头部圆形近似区域C1、左臂圆形近似区域C4、右臂圆形近似区域C2、胸部圆形近似区域C3、左腿圆形近似区域C6、右腿圆形近似区域C5;其中头部圆形近似区域C1由关节点1、14、15坐标计算得到(当14或15空缺时,由0代替),右臂圆形近似区域C2由关节点2、3、4坐标计算得到,胸部圆形近似区域C3由关节点1、8、11坐标计算得到,左臂圆形近似区域C4由关节点5、6、7坐标计算得到,右腿圆形近似区域C5由关节点8、9、10坐标计算得到,左腿圆形近似区域C6由关节点11、12、13坐标计算得到,具体计算方法如下:
其中,C1表示头部圆形近似区域;O1表示头部圆形近似区域的圆心;R1表示头部圆形近似区域的半径;(x1,y1)表示颈部关节点的坐标;(x14,y14)表示右耳关节点的坐标;(x15,y15)表示左耳关节点的坐标;s(O1,1)表示头部圆形近似区域的圆心到颈部关节点的距离;s(O1,14)表示头部圆形近似区域的圆心到右耳关节点的距离;s(O1,15)表示头部圆形近似区域的圆心到左耳关节点的距离;C2表示头右臂圆形近似区域;O2表示右臂圆形近似区域的圆心;R2表示右臂圆形近似区域的半径;(x2,y2)表示右肩关节点的坐标;(x3,y3)表示右肘关节点的坐标;(x4,y4)表示右腕关节点的坐标;s(O2,2)表示右臂圆形近似区域的圆心到右肩关节点的距离;s(O2,3)表示右臂圆形近似区域的圆心到右肘关节点的距离;s(O2,4)表示右臂圆形近似区域的圆心到右腕关节点的距离;C3表示胸部圆形近似区域;O3表示胸部圆形近似区域的圆心;R3表示胸部圆形近似区域的半径;(x1,y1)表示颈部关节点的坐标;(x8,y8)表示右臀关节点的坐标;(x11,y11)表示左臀关节点的坐标;s(O3,1)表示胸部圆形近似区域的圆心到颈部关节点的距离;s(O3,8)表示胸部圆形近似区域的圆心到右臀关节点的距离;s(O3,11)表示胸部圆形近似区域的圆心到左臀关节点的距离;C4表示左臂圆形近似区域;O4表示左臂圆形近似区域的圆心;R4表示左臂圆形近似区域的半径;(x5,y5)表示左肩关节点的坐标;(x6,y6)表示左肘关节点的坐标;(x7,y7)表示左腕关节点的坐标;s(O4,5)表示左臂圆形近似区域的圆心到左肩关节点的距离;s(O4,6)表示左臂圆形近似区域的圆心到左肘关节点的距离;s(O4,7)表示左臂圆形近似区域的圆心到左腕关节点的距离;C5表示右腿圆形近似区域;O5表示右腿圆形近似区域的圆心;R5表示右腿圆形近似区域的半径;(x8,y8)表示右臀关节点的坐标;(x9,y9)表示右膝关节点的坐标;(x10,y10)表示右脚踝关节点的坐标;s(O5,8)表示右腿圆形近似区域的圆心到右臀关节点的距离;s(O5,9)表示右腿圆形近似区域的圆心到右膝关节点的距离;s(O5,10)表示右腿圆形近似区域的圆心到右脚踝关节点的距离;C6表示左腿圆形近似区域;O6表示左腿圆形近似区域的圆心;R6表示左腿圆形近似区域的半径;(x11,y11)表示左臀关节点的坐标;(x12,y12)表示左膝关节点的坐标;(x13,y13)表示左脚踝关节点的坐标;s(O6,11)表示左腿圆形近似区域的圆心到左臀关节点的距离;s(O6,12)表示左腿圆形近似区域的圆心到左膝关节点的距离;s(O6,13)表示左腿圆形近似区域的圆心到左脚踝关节点的距离。
矩阵构建模块23:用于对所述六个圆形近似区域分别进行区域特征提取处理,并基于获得的区域特征构建姿态特征矩阵;
在本发明具体实施过程中,所述对所述六个圆形近似区域分别进行区域特征提取处理,并基于获得的区域特征构建姿态特征矩阵,包括:提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心连线与图像信息的水平方向的夹角;提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心之间的归一化距离;提取所述六个圆形近似区域的每两个圆形近似区域之间的相交情况;基于所述夹角、所述归一化距离和所述相交情况组成姿态特征矩阵。
具体的,对六个圆形近似区域进行特征提取,即提取每两个圆心连接线与图像水平方向的夹角θ,提取每两个圆心之间的归一化距离L,提取每两个圆之间的相交情况(相交记为1,不相交记为0)I,组成人体行为特征矩阵q,将人体行为特征的表示简化为人体区域圆之间的关系变化。
人体行为检测模块24:用于将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测,输出人体行为检测结果。
在本发明具体实施过程中,所述人体行为检测模型的训练过程包括:获得训练图像数据集,所述训练图像数据集包含有行走图像信息、跌倒图像信息、站立图像信息、下蹲图像信息、跑步图像信息、弯腰图像信息、捡东西图像信息、坐着图像信息;对所述训练图像数据集内的训练图像数据的人体姿态关节点进行检测,获得训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据;根据训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据将人体划分为训练图像数据对应的六个圆形近似区域;基于训练图像数据对应的六个圆形近似区域进行区域特征提取处理,并基于获得的训练图像数据对应的区域特征构建训练姿态特征矩阵;基于所述训练姿态特征矩阵形成训练人体行为特征数据集;将所述训练人体行为特征数据集输入人体行为检测模型中进行训练,直至所述人体行为检测模型收敛为止。
进一步的,所述将所述训练人体行为特征数据集输入人体行为检测模型中进行训练,包括:将所述训练人体行为特征数据集输入人体行为检测模型中之后,通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理,获得粗略行为分类结果;基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理,获得精细行为分类结果。
进一步的,所述通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理,获得粗略行为分类结果,包括:在所述人体行为检测模型中利用第一特征距离模型对所述训练人体行为特征数据集任意两个训练姿态特征矩阵进行距离计算,获得第一特征距离;基于第一特征距离进行粗略行为分类处理,获得粗略行为分类结果;其中,第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理,获得粗略行为分类结果的公式处理过程如下:
fm,fy表示训练人体行为特征数据集中任意两个训练姿态特征矩阵;j表示训练人体行为特征数据集中非零元素序号,序号从第一行自左向右,自上向下依次排序,共有21个非零元素;i为第j个元素里的夹角、归一化距离和相交情况,i=1表示夹角,i=2表示归一化距离,i=3表示相交情况;l1(fm,fy)表示fm,fy之间的第一特征距离;β为预设第一距离阈值,在l1(fm,fy)小于β时,将fy加入第一领近特征集合中,得到粗略行为分类结果。
进一步的,所述基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理,获得精细行为分类结果,包括:利用所述第二特征距离模型对所述粗略行为分类结果中任意两个特征矩阵进行特征距离计算,获得第二特征距离;基于第二特征距离进行精细行为分类处理,获得精细行为分类结果;其中,基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理,获得精细行为分类结果的公式处理过程如下:
gm,gd表示粗略行为分类结果中任意两个训练姿态特征矩阵;F(gd;σ)表示gd的旋转变换;σ表示旋转角度;T表示gd的切空间向量;χ表示预设第二距离阈值;l2(gm,gd)表示gm,gd之间的第二特征距离;当满足l2(gm,gd)小于χ时,将gd加入第二领近特征集合中,得到精细行为分类结果。
具体的,得到训练数据,提取训练数据中的不同人体行为的特征矩阵,包括行走、跌倒、站立、下蹲、跑步、弯腰、捡东西、坐着等日常行为,形成人体行为特征数据集f=[f1,f2,...fm,...fM],fm表示第m个人体行为特征数据,共有M个人体行为;在人体行为检测模型中包含有第一特征距离模型和第二特征距离模型,在训练的时候,首先,利用第一特征距离模型得到M种人体行为的邻近特征集合A1=[a1,a2,...am,...aM],得到预选的粗略行为分类结果,A1与f一一对应,am存储fm的领近特征集合;如下:
fm,fy表示训练人体行为特征数据集中任意两个训练姿态特征矩阵;j表示训练人体行为特征数据集中非零元素序号,序号从第一行自左向右,自上向下依次排序,共有21个非零元素;i为第j个元素里的夹角、归一化距离和相交情况,i=1表示夹角,i=2表示归一化距离,i=3表示相交情况;l1(fm,fy)表示fm,fy之间的第一特征距离;β为预设第一距离阈值,在l1(fm,fy)小于β时,将fy加入第一领近特征集合中,得到粗略行为分类结果。
然后利用第二特征距离模型对粗略行为分类结果中任意两个特征矩阵进行特征距离计算,得到第二特征距离,根据第二特征距离进行精细行为分类处理,获得精细行为分类结果A2=[b1,b2,...bm,...bM];A2与A1一一对应,bm存储am的邻近特征集合,具体如下:
gm,gd表示粗略行为分类结果中任意两个训练姿态特征矩阵;F(gd;σ)表示gd的旋转变换;σ表示旋转角度;T表示gd的切空间向量;χ表示预设第二距离阈值;l2(gm,gd)表示gm,gd之间的第二特征距离;当满足l2(gm,gd)小于χ时,将gd加入第二领近特征集合中,得到精细行为分类结果。
在训练收敛后,将姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测,即可输出人体行为检测结果。
在本发明实施例中,通过人体姿态关节点数据,对人体姿态进行了局部区域圆形近似,将人体划分为六个局部区域,通过分析六个局部圆的位置关系,判断人体行为,简化了行为分析处理数据的复杂度;在人体行为检测模型中建立了第一特征距离模型与第二特征距离模型结合的方式,首先通过第一特征距离模型对人体行为特征进行粗略分类,消除部分差异度大、类间区分特征明显的行为,然后再通过第二特征距离模型对人体行为进行精细分类,提高了人体行为分类识别的准确率。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储介质中,存储介质可以包括:只读存储器(ROM,Read Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、磁盘或光盘等。
另外,以上对本发明实施例所提供的一种基于边缘计算的人体行为检测方法及装置进行了详细介绍,本文中应采用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种基于边缘计算的人体行为检测方法,其特征在于,所述方法包括:
对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点对应的坐标数据;
基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域,所述六个圆形近似区域分别为头部圆形近似区域、左臂圆形近似区域、右臂圆形近似区域、胸部圆形近似区域、左腿圆形近似区域、右腿圆形近似区域;
对所述六个圆形近似区域分别进行区域特征提取处理,并基于获得的区域特征构建姿态特征矩阵;
将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测,输出人体行为检测结果。
2.根据权利要求1所述的人体行为检测方法,其特征在于,所述对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点对应的坐标数据,包括:
利用卷积神经网络模型对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点在图像信息中对应的坐标数据;
所述人体姿态关节点为按照预设标号顺序进行排序标号的人体姿态关节点,其中,所述人体姿态关节点包括颈部关节点、右肩关节点、右肘关节点、右腕关节点、左肩关节点、左肘关节点、左腕关节点、左臀关节点、左膝关节点、左脚踝关节点、右臀关节点、右膝关节点、右脚踝关节点、右耳关节点、左耳关节点。
3.根据权利要求1所述的人体行为检测方法,其特征在于,所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域,包括:
根据颈部关节点的坐标、右耳关节点的坐标和左耳关节点的坐标计算划分,获得头部圆形近似区域;
根据右肩关节点的坐标、右肘关节点的坐标和右腕关节点的坐标计算划分,获得右臂圆形近似区域;
根据颈部关节点的坐标、左臀关节点的坐标和右臀关节点的坐标计算划分,获得胸部圆形近似区域;
根据左肩关节点的坐标、左肘关节点的坐标和左腕关节点的坐标计算划分,获得左臂圆形近似区域;
根据右臀关节点的坐标、右膝关节点的坐标和右脚踝关节点的坐标计算划分,获得右腿圆形近似区域;
根据左臀关节点的坐标、左膝关节点的坐标和左脚踝关节点的坐标计算划分,获得左腿圆形近似区域。
4.根据权利要求3所述的人体行为检测方法,其特征在于,所述基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域的具体计算划分公式如下:
其中,C1表示头部圆形近似区域;O1表示头部圆形近似区域的圆心;R1表示头部圆形近似区域的半径;(x1,y1)表示颈部关节点的坐标;(x14,y14)表示右耳关节点的坐标;(x15,y15)表示左耳关节点的坐标;s(O1,1)表示头部圆形近似区域的圆心到颈部关节点的距离;s(O1,14)表示头部圆形近似区域的圆心到右耳关节点的距离;s(O1,15)表示头部圆形近似区域的圆心到左耳关节点的距离;C2表示头右臂圆形近似区域;O2表示右臂圆形近似区域的圆心;R2表示右臂圆形近似区域的半径;(x2,y2)表示右肩关节点的坐标;(x3,y3)表示右肘关节点的坐标;(x4,y4)表示右腕关节点的坐标;s(O2,2)表示右臂圆形近似区域的圆心到右肩关节点的距离;s(O2,3)表示右臂圆形近似区域的圆心到右肘关节点的距离;s(O2,4)表示右臂圆形近似区域的圆心到右腕关节点的距离;C3表示胸部圆形近似区域;O3表示胸部圆形近似区域的圆心;R3表示胸部圆形近似区域的半径;(x1,y1)表示颈部关节点的坐标;(x8,y8)表示右臀关节点的坐标;(x11,y11)表示左臀关节点的坐标;s(O3,1)表示胸部圆形近似区域的圆心到颈部关节点的距离;s(O3,8)表示胸部圆形近似区域的圆心到右臀关节点的距离;s(O3,11)表示胸部圆形近似区域的圆心到左臀关节点的距离;C4表示左臂圆形近似区域;O4表示左臂圆形近似区域的圆心;R4表示左臂圆形近似区域的半径;(x5,y5)表示左肩关节点的坐标;(x6,y6)表示左肘关节点的坐标;(x7,y7)表示左腕关节点的坐标;s(O4,5)表示左臂圆形近似区域的圆心到左肩关节点的距离;s(O4,6)表示左臂圆形近似区域的圆心到左肘关节点的距离;s(O4,7)表示左臂圆形近似区域的圆心到左腕关节点的距离;C5表示右腿圆形近似区域;O5表示右腿圆形近似区域的圆心;R5表示右腿圆形近似区域的半径;(x8,y8)表示右臀关节点的坐标;(x9,y9)表示右膝关节点的坐标;(x10,y10)表示右脚踝关节点的坐标;s(O5,8)表示右腿圆形近似区域的圆心到右臀关节点的距离;s(O5,9)表示右腿圆形近似区域的圆心到右膝关节点的距离;s(O5,10)表示右腿圆形近似区域的圆心到右脚踝关节点的距离;C6表示左腿圆形近似区域;O6表示左腿圆形近似区域的圆心;R6表示左腿圆形近似区域的半径;(x11,y11)表示左臀关节点的坐标;(x12,y12)表示左膝关节点的坐标;(x13,y13)表示左脚踝关节点的坐标;s(O6,11)表示左腿圆形近似区域的圆心到左臀关节点的距离;s(O6,12)表示左腿圆形近似区域的圆心到左膝关节点的距离;s(O6,13)表示左腿圆形近似区域的圆心到左脚踝关节点的距离。
5.根据权利要求1所述的人体行为检测方法,其特征在于,所述对所述六个圆形近似区域分别进行区域特征提取处理,并基于获得的区域特征构建姿态特征矩阵,包括:
提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心连线与图像信息的水平方向的夹角;
提取所述六个圆形近似区域的每两个圆形近似区域之间的圆心之间的归一化距离;
提取所述六个圆形近似区域的每两个圆形近似区域之间的相交情况;
基于所述夹角、所述归一化距离和所述相交情况组成姿态特征矩阵。
6.根据权利要求1所述的人体行为检测方法,其特征在于,所述人体行为检测模型的训练过程包括:
获得训练图像数据集,所述训练图像数据集包含有行走图像信息、跌倒图像信息、站立图像信息、下蹲图像信息、跑步图像信息、弯腰图像信息、捡东西图像信息、坐着图像信息;
对所述训练图像数据集内的训练图像数据的人体姿态关节点进行检测,获得训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据;
根据训练图像数据的人体姿态关节点及训练图像数据的人体姿态关节点对应的坐标数据将人体划分为训练图像数据对应的六个圆形近似区域;
基于训练图像数据对应的六个圆形近似区域进行区域特征提取处理,并基于获得的训练图像数据对应的区域特征构建训练姿态特征矩阵;
基于所述训练姿态特征矩阵形成训练人体行为特征数据集;
将所述训练人体行为特征数据集输入人体行为检测模型中进行训练,直至所述人体行为检测模型收敛为止。
7.根据权利要求6所述的人体行为检测方法,其特征在于,所述将所述训练人体行为特征数据集输入人体行为检测模型中进行训练,包括:
将所述训练人体行为特征数据集输入人体行为检测模型中之后,通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理,获得粗略行为分类结果;
基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理,获得精细行为分类结果。
8.根据权利要求7所述的人体行为检测方法,其特征在于,所述通过所述人体行为检测模型中的第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理,获得粗略行为分类结果,包括:
在所述人体行为检测模型中利用第一特征距离模型对所述训练人体行为特征数据集任意两个训练姿态特征矩阵进行距离计算,获得第一特征距离;
基于第一特征距离进行粗略行为分类处理,获得粗略行为分类结果;
其中,第一特征距离模型对所述训练人体行为特征数据集进行粗略行为分类处理,获得粗略行为分类结果的公式处理过程如下:
fm,fy表示训练人体行为特征数据集中任意两个训练姿态特征矩阵;j表示训练人体行为特征数据集中非零元素序号,序号从第一行自左向右,自上向下依次排序,共有21个非零元素;i为第j个元素里的夹角、归一化距离和相交情况,i=1表示夹角,i=2表示归一化距离,i=3表示相交情况;l1(fm,fy)表示fm,fy之间的第一特征距离;β为预设第一距离阈值,在l1(fm,fy)小于β时,将fy加入第一领近特征集合中,得到粗略行为分类结果。
9.根据权利要求7所述的人体行为检测方法,其特征在于,所述基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理,获得精细行为分类结果,包括:
利用所述第二特征距离模型对所述粗略行为分类结果中任意两个特征矩阵进行特征距离计算,获得第二特征距离;
基于第二特征距离进行精细行为分类处理,获得精细行为分类结果;
其中,基于第二特征距离模型对所述粗略行为分类结果进行精细行为分类处理,获得精细行为分类结果的公式处理过程如下:
gm,gd表示粗略行为分类结果中任意两个训练姿态特征矩阵;F(gd;σ)表示gd的旋转变换;σ表示旋转角度;T表示gd的切空间向量;χ表示预设第二距离阈值;l2(gm,gd)表示gm,gd之间的第二特征距离;当满足l2(gm,gd)小于χ时,将gd加入第二领近特征集合中,得到精细行为分类结果。
10.一种基于边缘计算的人体行为检测装置,其特征在于,所述装置包括:
关节点检测模块:用于对图像信息中的人体姿态关节点进行检测,获得人体姿态关节点及所述人体姿态关节点对应的坐标数据;
划分模块:用于基于所述人体姿态关节点及所述人体姿态关节点对应的坐标数据将人体划分为六个圆形近似区域,所述六个圆形近似区域分别为头部圆形近似区域、左臂圆形近似区域、右臂圆形近似区域、胸部圆形近似区域、左腿圆形近似区域、右腿圆形近似区域;
矩阵构建模块:用于对所述六个圆形近似区域分别进行区域特征提取处理,并基于获得的区域特征构建姿态特征矩阵;
人体行为检测模块:用于将构建好的姿态特征矩阵输入训练收敛的人体行为检测模型中进行人体行为检测,输出人体行为检测结果。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110389062.6A CN113177442B (zh) | 2021-04-12 | 2021-04-12 | 一种基于边缘计算的人体行为检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110389062.6A CN113177442B (zh) | 2021-04-12 | 2021-04-12 | 一种基于边缘计算的人体行为检测方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113177442A true CN113177442A (zh) | 2021-07-27 |
CN113177442B CN113177442B (zh) | 2024-01-30 |
Family
ID=76925022
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110389062.6A Active CN113177442B (zh) | 2021-04-12 | 2021-04-12 | 一种基于边缘计算的人体行为检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113177442B (zh) |
Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104899600A (zh) * | 2015-05-28 | 2015-09-09 | 北京工业大学 | 一种基于深度图的手部特征点检测方法 |
CN104899575A (zh) * | 2015-06-19 | 2015-09-09 | 南京大学 | 一种基于人脸检测和关键点定位的人体组件划分方法 |
CN105095827A (zh) * | 2014-04-18 | 2015-11-25 | 汉王科技股份有限公司 | 人脸表情识别装置和方法 |
CN108764249A (zh) * | 2018-04-23 | 2018-11-06 | 云南民族大学 | 一种旋转不变多源影像局部特征描述方法、***和装置 |
CN109697434A (zh) * | 2019-01-07 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 一种行为识别方法、装置和存储介质 |
WO2019088333A1 (ko) * | 2017-11-03 | 2019-05-09 | 전자부품연구원 | 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치 |
CN109919141A (zh) * | 2019-04-09 | 2019-06-21 | 广东省智能制造研究所 | 一种基于骨架姿态的行人再识别方法 |
CN110751115A (zh) * | 2019-10-24 | 2020-02-04 | 北京金茂绿建科技有限公司 | 一种无接触式人体行为识别方法和*** |
CN110807444A (zh) * | 2019-12-06 | 2020-02-18 | 太原师范学院 | 一种基于dsp边缘计算的行人异常行为检测***和方法 |
WO2020077822A1 (zh) * | 2018-10-17 | 2020-04-23 | 深圳壹账通智能科技有限公司 | 图像特征配置及校验方法、装置、计算机设备及介质 |
CN111222379A (zh) * | 2018-11-27 | 2020-06-02 | 株式会社日立制作所 | 一种手部检测方法及装置 |
CN111931701A (zh) * | 2020-09-11 | 2020-11-13 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的姿态识别方法、装置、终端和存储介质 |
CN112084984A (zh) * | 2020-09-15 | 2020-12-15 | 山东鲁能软件技术有限公司 | 一种基于改进的Mask RCNN的扶梯动作检测方法 |
CN112163564A (zh) * | 2020-10-26 | 2021-01-01 | 燕山大学 | 基于人体关键点行为识别与lstm的跌倒预判方法 |
US20210027484A1 (en) * | 2019-07-25 | 2021-01-28 | Pegatron Corporation | Method and device for joint point detection |
CN112632532A (zh) * | 2020-12-28 | 2021-04-09 | 重庆邮电大学 | 边缘计算中基于深度森林的用户异常行为检测方法 |
-
2021
- 2021-04-12 CN CN202110389062.6A patent/CN113177442B/zh active Active
Patent Citations (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN105095827A (zh) * | 2014-04-18 | 2015-11-25 | 汉王科技股份有限公司 | 人脸表情识别装置和方法 |
CN104899600A (zh) * | 2015-05-28 | 2015-09-09 | 北京工业大学 | 一种基于深度图的手部特征点检测方法 |
CN104899575A (zh) * | 2015-06-19 | 2015-09-09 | 南京大学 | 一种基于人脸检测和关键点定位的人体组件划分方法 |
WO2019088333A1 (ko) * | 2017-11-03 | 2019-05-09 | 전자부품연구원 | 깊이 맵 정보 기반의 인체 행위 인지 방법 및 그 장치 |
CN108764249A (zh) * | 2018-04-23 | 2018-11-06 | 云南民族大学 | 一种旋转不变多源影像局部特征描述方法、***和装置 |
WO2020077822A1 (zh) * | 2018-10-17 | 2020-04-23 | 深圳壹账通智能科技有限公司 | 图像特征配置及校验方法、装置、计算机设备及介质 |
CN111222379A (zh) * | 2018-11-27 | 2020-06-02 | 株式会社日立制作所 | 一种手部检测方法及装置 |
CN109697434A (zh) * | 2019-01-07 | 2019-04-30 | 腾讯科技(深圳)有限公司 | 一种行为识别方法、装置和存储介质 |
CN109919141A (zh) * | 2019-04-09 | 2019-06-21 | 广东省智能制造研究所 | 一种基于骨架姿态的行人再识别方法 |
US20210027484A1 (en) * | 2019-07-25 | 2021-01-28 | Pegatron Corporation | Method and device for joint point detection |
CN110751115A (zh) * | 2019-10-24 | 2020-02-04 | 北京金茂绿建科技有限公司 | 一种无接触式人体行为识别方法和*** |
CN110807444A (zh) * | 2019-12-06 | 2020-02-18 | 太原师范学院 | 一种基于dsp边缘计算的行人异常行为检测***和方法 |
CN111931701A (zh) * | 2020-09-11 | 2020-11-13 | 平安国际智慧城市科技股份有限公司 | 基于人工智能的姿态识别方法、装置、终端和存储介质 |
CN112084984A (zh) * | 2020-09-15 | 2020-12-15 | 山东鲁能软件技术有限公司 | 一种基于改进的Mask RCNN的扶梯动作检测方法 |
CN112163564A (zh) * | 2020-10-26 | 2021-01-01 | 燕山大学 | 基于人体关键点行为识别与lstm的跌倒预判方法 |
CN112632532A (zh) * | 2020-12-28 | 2021-04-09 | 重庆邮电大学 | 边缘计算中基于深度森林的用户异常行为检测方法 |
Non-Patent Citations (2)
Title |
---|
张全贵;蔡丰;李志强;: "基于耦合多隐马尔可夫模型和深度图像数据的人体动作识别", 计算机应用, no. 02 * |
王永雄;曾艳;李璇;尹钟;张孙杰;刘丽;: "融合交互信息和能量特征的三维复杂人体行为识别", 小型微型计算机***, no. 08 * |
Also Published As
Publication number | Publication date |
---|---|
CN113177442B (zh) | 2024-01-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111881705B (zh) | 数据处理、训练、识别方法、装置和存储介质 | |
CN100397410C (zh) | 基于视频的面部表情识别方法及装置 | |
CN110674785A (zh) | 一种基于人体关键点跟踪的多人姿态分析方法 | |
CN105740780B (zh) | 人脸活体检测的方法和装置 | |
CN103390164B (zh) | 基于深度图像的对象检测方法及其实现装置 | |
CN110738101A (zh) | 行为识别方法、装置及计算机可读存储介质 | |
CN105335725B (zh) | 一种基于特征融合的步态识别身份认证方法 | |
CN107808143A (zh) | 基于计算机视觉的动态手势识别方法 | |
CN114724241A (zh) | 基于骨骼点距离的动作识别方法、装置、设备及存储介质 | |
CN105160310A (zh) | 基于3d卷积神经网络的人体行为识别方法 | |
CN104200200B (zh) | 融合深度信息和灰度信息实现步态识别的***及方法 | |
CN110532850B (zh) | 一种基于视频关节点和混合分类器的跌倒检测方法 | |
CN114067358A (zh) | 一种基于关键点检测技术的人体姿态识别方法及*** | |
CN108875586B (zh) | 一种基于深度图像与骨骼数据多特征融合的功能性肢体康复训练检测方法 | |
CN110619316A (zh) | 人体关键点检测方法、装置和电子设备 | |
CN112395977A (zh) | 基于身体轮廓和腿部关节骨架的哺乳动物姿态识别方法 | |
CN109271918B (zh) | 基于重心偏移模型区分平衡能力障碍人群的方法 | |
CN107808376A (zh) | 一种基于深度学习的举手检测方法 | |
CN110991274A (zh) | 一种基于混合高斯模型和神经网络的行人摔倒检测方法 | |
JP2000251078A (ja) | 人物の3次元姿勢推定方法および装置ならびに人物の肘の位置推定方法および装置 | |
CN109117717A (zh) | 一种城市行人检测方法 | |
CN113065431A (zh) | 一种基于隐马尔可夫模型和循环神经网络的人体违规行为预测方法 | |
CN114187664B (zh) | 一种基于人工智能的跳绳计数*** | |
CN111639562A (zh) | 一种手掌感兴趣区域的智能定位方法 | |
CN111462310A (zh) | 一种基于多视几何的螺栓缺陷空间定位方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |