CN114299536A - 一种基于关键点相关性的人体姿态估计方法 - Google Patents

一种基于关键点相关性的人体姿态估计方法 Download PDF

Info

Publication number
CN114299536A
CN114299536A CN202111530948.4A CN202111530948A CN114299536A CN 114299536 A CN114299536 A CN 114299536A CN 202111530948 A CN202111530948 A CN 202111530948A CN 114299536 A CN114299536 A CN 114299536A
Authority
CN
China
Prior art keywords
key points
representing
keypoint
correlation
human body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111530948.4A
Other languages
English (en)
Inventor
柳鑫驰
徐宗懿
邓欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN202111530948.4A priority Critical patent/CN114299536A/zh
Publication of CN114299536A publication Critical patent/CN114299536A/zh
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Analysis (AREA)

Abstract

本发明属于人体姿态估计领域，具体涉及一种基于关键点相关性的人体姿态估计方法；该方法包括：实时获取图像数据，对获取的图像数据进行预处理；将预处理好的图像数据输入到训练好的基于关键点相关性的人体姿态估计模型中，得到人体姿态估计结果；本发明通过构建基于强相关性的关键点分组，使用关系网络将强相关性关键点的关系信息融合，并构建相关性损失和相关系混淆惩罚损失，有效地增强了关键点之间的特征融合，改善了关键点之间的混淆问题，进一步提高了预测精度，估计更准确，具有良好的经济效益。

Description

一种基于关键点相关性的人体姿态估计方法
技术领域
本发明属于人体姿态估计领域，具体涉及一种基于关键点相关性的人体姿态估计方法。
背景技术
人体姿态估计是指检测图片或者视频中人体关节点的位置，并标注关节点类别的过程，该过程也被称为人体关键点检测。该领域最初大多采用基于图形结构的方法来处理人体姿态问题。因此，基于图形结构方法的可形变部件模型应运而生，由于这些方法只能为人体关节点之间所有处于联系中的部分子集建立模型，虽然获得了较高的效率，但受人物遮挡因素影响较大，表示能力有限。
近年来得益于深度学习领域的快速发展，通过计算机对图片特征或视频特征进行学习，大大提高了人体关键点检测的精度。最初提出的以深度学习进行人体姿态估计的方法都局限于单人姿态估计，输入图像中只包含一个人，难以应用到图像中有多个人的场景中。
为了解决该问题，自上而下的人体姿态估计方法被提出。自上而下的方法指先利用人体检测器检测出图像中的所有人并裁剪为多个单人图像，再使用单人姿态估计的方法对每个单人图像进行姿态估计。这类方法虽然精度高，但由于图像被裁剪后容易丢失图像全局特征，在遇到遮挡问题时精度会下降。
针对此问题，人们提出通过增大卷积核网络感受野，加强特征融合，采用多尺度融合等方式来提高检测精度。然而，这些方法都只关注网络特征提取，却忽视了人体关节点本身的特征信息关系，导致在昏暗场景和遮挡场景下，由于语义不清发生两两关键点之间混淆的问题(如人在侧身时，难以区分左肩和右肩)。
现有技术中，一种基于人体关键点相关性的分组训练方法将相关性强的关键点分为一组共同训练，此方法虽可解决上述问题，但同样也忽视了人体整体拥有全局的语义信息和关键点之间的信息融合等问题，并且同组内关键点某两个不相关或是相关性弱的关键点可能会导致网络呈现负迁移的趋势，导致预测的关键点更容易混淆。
综上所述，需要一种通过能够利用关键点之间的关系信息，使关键点在遮挡情况下也不易混淆的自上而下的人体姿态估计方法。
发明内容
针对现有技术存在的不足，本发明提出了一种基于关键点相关性的人体姿态估计方法，该方法包括：实时获取图像数据，对获取的图像数据进行预处理；将预处理好的图像数据输入到训练好的基于关键点相关性的人体姿态估计模型中，得到人体姿态估计结果；
对基于关键点相关性的人体姿态估计模型进行训练的过程包括：
S1：获取原始图像数据，对原始图像数据进行预处理，得到训练数据集；
S2：采用HRNet网络对训练数据集中的图像数据进行特征提取，得到特征热力图；其中，图像数据包括带有标注的人体关键点；
S3：计算两个关键点之间的相关性，根据相关性对关键点进行分组，得到关键点组；
S4：根据特征热力图和关键点组，采用构建好的RNMI模型对特征热力图进行关系信息融合，得到增强特征的特征热力图；
S5：根据增强特征的特征热力图计算热力图损失，根据增强特征的特征热力图计算特征相似度损失，根据热力图损失计算自推理强相关性点混淆惩罚损失；
S6：根据热力图损失、特征相似度损失和自推理强相关性点混淆惩罚损失计算基于关键点相关性的人体姿态估计模型的整体损失，当整体损失最小时，训练完成。
优选的，对获取的图像数据进行预处理包括：通过目标检测算法检测出单人人体图像，将检测到的人体图像裁剪为256×256的单人图像；将单人图像进行旋转、缩放和翻转操作，得到数据增强的图像数据。
优选的，计算两个关键点之间的相关性，根据相关性对关键点进行分组包括：计算两个关键点之间的互信息；设置互信息阈值；将计算出的互信息与设置的互信息阈值进行对比，若大于设置的互信息阈值，则将两个关键点互相作为对方的强相关性关键点，否则不为强相关性关键点；将所有互为强相关性关键点的关键点分为一组。
优选的，采用RNMI模型对特征热力图进行关系信息融合包括：
根据特征热力图计算关键点的图像信息权重和空间信息权重；
根据图像信息权重和空间信息权重计算关键点的关系权重；
根据关系权重计算关键点的关系信息加权和；
根据特征热力图和关系信息加权和计算增强特征的特征热力图。
进一步的，计算关键点的关系权重的公式为：
Figure BDA0003411475580000031
其中，
Figure BDA0003411475580000032
表示关键点m对关键点n的空间信息权重，
Figure BDA0003411475580000033
表示关键点m对关键点n的图像信息权重，
Figure BDA0003411475580000034
表示关键点组内k个关键点对关键点n的空间信息权重，
Figure BDA0003411475580000035
表示关键点组内k个关键点对关键点n的图像信息权重，k表示关键点组中关键点的数量。
进一步的，计算关键点的关系信息加权和的公式为：
Figure BDA0003411475580000036
其中，ωmn表示关键点的关系权重，
Figure BDA0003411475580000037
为第m个关键点的图像特征，WV为一次线性变换操作，δn表示第n个关键点的关键点组。
优选的，增强特征的特征热力图表示为：
Figure BDA0003411475580000041
Figure BDA0003411475580000042
其中，
Figure BDA0003411475580000043
表示增强特征的第n个关键点的图像特征，
Figure BDA0003411475580000044
表示第n个关键点的图像特征，
Figure BDA0003411475580000045
表示关键点t对关键点n的关系特征，δn表示第n个关键点的关键点组，T表示第n个关键点的关键点组中关键点的总数，fR(n)表示T个关键点对第n个关键点的关系信息加权和。
优选的，特征相似度损失公式为：
Figure BDA0003411475580000046
其中，m和n分别表示当前第m个关键点和第n关键点，
Figure BDA0003411475580000047
表示预测的关键点m与关键点n的特征相似度，
Figure BDA0003411475580000048
表示真实标签下关键点m与关键点n的特征相似度，N表示关键点的数量。
优选的，自推理强相关性点混淆惩罚损失公式为：
Figure BDA0003411475580000049
Figure BDA00034114755800000410
其中，Lp表示总自推理强相关性点混淆惩罚损失，
Figure BDA00034114755800000411
表示关键点n和关键点m之间的混淆惩罚损失，
Figure BDA00034114755800000412
和
Figure BDA00034114755800000413
分别表示第n个关键点和第m个关键点的热力图损失，Lk(Prdn,Gtm)表示第n个关键点的预测热力图与第m个关键点的真实标签热力图的热力图损失，Lk(Prdm,Gtn)表示第m个关键点的预测热力图与第n个关键点的真实标签热力图的热力图损失，δn表示第n个关键点的关键点组。
优选的，整体损失公式为
Lrnmi＝Lk+αLs+βLp
Figure BDA0003411475580000051
其中，Lrnmi表示模型的整体损失，Lk表示热力图损失，Ls表示特征相似度损失，Lp表示自推理强相关性点混淆惩罚损失，α表示特征相似度损失的权重，β表示推理强相关性点混淆惩罚损失的权重，Kprd-n表示网络输出的关键点n的热图，Kgt-n表示真实标签下的关键点n的热图，N表示关键点总数。
本发明的有益效果为：本发明以HRNet为基准网络进行特征提取，在HRNet网络的最后输出预测结果后，引入基于相关性的关系网络模块，并参考人体关节点的相关性理论，将人体强相关性的关键点进行分组，通过RNMI联合强相关性关键点的关系信息，将预测结果与RNMI输出的关系信息进行融合，并通过优化损失函数惩罚混淆关键点，来改善在遮挡和暗部条件下关键点精度低和易混淆的问题；本发明考虑人体关节点本身的特征信息关系，并引入人体结构的先验知识进行人体姿态估计，有效地增强了关键点之间的特征融合，改善了关键点之间的混淆问题，进一步提高了预测精度，估计更准确，具有良好的经济效益。
附图说明
图1为本发明中基于关键点相关性的人体姿态估计方法流程示意图；
图2为本发明中关系模块结构示意图；
图3为本发明中预测结果可视化对比图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出了一种基于关键点相关性的人体姿态估计方法，如图1所示，所述方法包括：实时获取图像数据，对获取的图像数据进行预处理；将预处理好的图像数据输入到训练好的基于关键点相关性的人体姿态估计模型中，得到人体姿态估计结果；
对基于关键点相关性的人体姿态估计模型进行训练的过程包括：
S1：获取原始图像数据，对原始图像数据进行预处理，得到训练数据集；
S2：采用HRNet网络对训练数据集中的图像数据进行特征提取，得到特征热力图；其中，图像数据包括带有标注的人体关键点；
S3：计算两个关键点之间的相关性，根据相关性对关键点进行分组，得到关键点组；
S4：根据特征热力图和关键点组，采用构建好的RNMI模型对特征热力图进行关系信息融合，得到增强特征的特征热力图；
S5：根据增强特征的特征热力图计算热力图损失，根据增强特征的特征热力图计算特征相似度损失，根据热力图损失计算自推理强相关性点混淆惩罚损失；
S6：根据热力图损失、特征相似度损失和自推理强相关性点混淆惩罚损失计算基于关键点相关性的人体姿态估计模型的整体损失，当整体损失最小时，训练完成。
可选用MPII数据集作为原始图像数据对模型进行训练，该数据集分为训练数据集、测试数据集、验证数据集三部分。该数据集包含超过40000个人体的25000多张图片。在该数据集的标注信息中，包含16个人体关键点，其标注分别为：0、右踝；1、右膝；2、右臀；3、左臀；4、左膝；5、左踝；6、骨盆；7、胸；8、上颈；9、头顶；10、右手腕；11、右肘；12、右肩；13、左肩；14、左肘；15、左手腕。
对数据集进行预处理，通过目标检测算法检测出单人人体图像，将检测到的人体图像裁剪为256×256的单人图像；将单人图像进行旋转([45°,-45°])、缩放([0.65,1.35])和翻转操作，得到增强的图像数据；单人图像的左上角坐标为(0，0)，原始的关键点坐标为(xi,yi)，数据增强后的关键点坐标为
Figure BDA0003411475580000071
Figure BDA0003411475580000072
使用GTX 2080Ti显卡进行训练，BatchSize设定为32，优化器使用Adam，Epoch设定为210，学习率为1e-3。在第170个Epoch时学习率下降到1e-4，第200个Epoch时学习率下降到1e-5。
采用HRNet网络对预处理好的图像数据进行特征提取，得到特征热力图，特征热力图表示为：
Figure BDA0003411475580000073
其中，FA为HRNet提取的通道空间为N的特征信息，N为关键点数量。
计算两个关键点之间的相关性，根据相关性对关键点进行分组，得到关键点组，具体过程为：
以相关性为基础，将每个关键点与其强相关性的关键点分为一组，一共Q组，第n个关键点的关键点组表示为
Figure BDA0003411475580000074
T为关键点组中关键点的个数。相关性可用互信息表示，互信息是一个随机变量中包含的关于另一个随机变量的信息量，或者说是一个随机变量由于已知另一个随机变量而减少的不肯定性，其计算公式为：
Figure BDA0003411475580000075
其中，p(lm,ln)是联合分布，p(lm),p(ln)是独立分布，I(lm,ln)是联合分布对于独立分布的相对熵，lm表示关键点m的空间域信息，ln表示关键点n的空间域信息。
设置互信息阈值；将计算出的互信息与设置的互信息阈值进行对比，若大于设置的互信息阈值，则将两个关键点互相作为对方的强相关性关键点，否则不为强相关性关键点；将所有互为强相关性关键点的关键点分为一组。有关实验表明，取当前关键点互信息0.6以上的其他关键点组成相关关键点组能取得最好效果，最好效果的关键点组为：右踝组：右膝，左膝，左踝；右膝组：右踝，左膝，左踝，右臀；右臀组：右膝，盆骨，左臀；左臀组：左膝，盆骨，右臀；左膝组：左踝，右膝，右踝，左臀；左踝组：左膝，右膝，右踝；盆骨组：左臀，右臀；胸组：上颈，头顶，左肩，右肩；上颈组：胸，头顶，左肩，右肩；头顶组：胸，上颈，左肩，右肩；右手腕组：右肘，左手腕；右肘组：右手腕，右肩，左肘；右肩组：胸，上颈，头顶，右肘，左肩；左肩组：胸，上颈，头顶，左肘，右肩；左肘组：左手腕，右肩，右肘；左手腕组：左肘，右手腕。
采用构建好的RNMI模型对特征热力图进行关系信息融合，得到增强特征的特征热力图；采用RNMI模型对特征热力图进行关系信息融合的过程为：
对于该特征图组的第n个关键点，称它的图像特征为
Figure BDA0003411475580000081
空间特征为
Figure BDA0003411475580000082
图像特征指当前关键点的外观，颜色，大小等信息，空间特征指当前关键点的位置信息。将第n个关键点和第m个关键点空间特征的组合称为m对n的空间特征，公式为：
Figure BDA0003411475580000083
因此，对于得到的n个关键点的n张特征图可以表示为
Figure BDA0003411475580000084
其中，
Figure BDA0003411475580000085
和
Figure BDA0003411475580000086
分别表示第n个关键点的图像特征和空间特征，N为关键点数量。
其他m个关键点对当前第n个关键点的关系信息加权和计算为：
Figure BDA0003411475580000087
其中，ωmn表示关键点的关系权重，
Figure BDA0003411475580000088
为第m个关键点的图像特征，WV为一次线性变换操作，δn表示第n个关键点的关键点组；在这里，引入构建的强相关性关键点组计算他们的关系信息，即m为第n个关键点的强相关性关键点。
对于第m个关键点，其对第n个关键点产生的关系权重ωmn同时由图像特征和空间特征决定，并进行归一化操作，计算公式为：
Figure BDA0003411475580000089
其中，
Figure BDA00034114755800000810
表示关键点m对关键点n的空间信息权重，
Figure BDA00034114755800000811
表示关键点m对关键点n的图像信息权重，
Figure BDA0003411475580000091
表示关键点组内k个关键点对关键点n的空间信息权重，
Figure BDA0003411475580000092
表示关键点组内k个关键点对关键点n的图像信息权重，k表示关键点组中关键点的数量。
第m个关键点对第n个关键点的图像信息权重通过两个全连接层将特征投影到子空间，点乘计算两个关键点的纹理特征相似度所得，计算公式为：
Figure BDA0003411475580000093
其中，WK和WQ是两个全连接层，起到变化维度的作用；dot表示点乘，dk是点乘后的维数，这里选取dk＝64，通过把原始矩阵映射到子空间中，用点积衡量两个关键点的图像特征关系。
第m个关键点对第n个关键点的空间信息权重计算公式为：
Figure BDA0003411475580000094
其中，εG用来将第m个关键点和第n个关键点之间的空间特征映射到高维空间，映射后的维数为64；WG为一个全连接层，最后的max操作类似于一个Relu层，对空间信息权重加以一定的限制。
如图2所示，通过m个关系模块，可以得到与第n个关键点强相关的m个关键点对于第n个关键点的关系特征，最后将这m个关系特征融合到第n个关键点的图像特征
Figure BDA0003411475580000095
中，得到增强后的特征，计算公式为：
Figure BDA0003411475580000096
Figure BDA0003411475580000097
其中，
Figure BDA0003411475580000098
表示增强特征的第n个关键点的图像特征，
Figure BDA0003411475580000099
表示第n个关键点的图像特征，
Figure BDA00034114755800000910
表示关键点t对关键点n的关系特征，δn表示第n个关键点的关键点组，T表示第n个关键点的关键点组中关键点的总数，fR(n)表示T个关键点对第n个关键点的关系信息加权和。
考虑到关键点之间的结构信息，使得关键点能够利用到其他关键点的约束信息，防止相关性较低的点造成负迁移效应，本发明构建了相关关键点组的特征相似度惩罚模块来计算特征相似度损失；计算特征相似度损失过程为：
由关系模块输出的包含N个关键点的特征图可表示为：
Figure BDA0003411475580000101
第n个关键点和第m个关键点的特征相似度为：
Figure BDA0003411475580000102
构建特征相似度矩阵为：
Figure BDA0003411475580000103
其中，t为关键点n的相关关键点组中的一个关键点。
将网络预测结果所得的第n个关键点的特征相似度矩阵表示为
Figure BDA0003411475580000104
对应的真实标签的特征相似度矩阵为
Figure BDA0003411475580000105
对于所有的关键点组的特征相似度损失计算公式为：
Figure BDA0003411475580000106
其中，m和n分别表示当前第m个关键点和第n关键点，
Figure BDA0003411475580000107
表示预测的关键点m与关键点n的特征相似度，
Figure BDA0003411475580000108
表示真实标签下关键点m与关键点n的特征相似度，N表示关键点的数量。
当前模块所得损失函数由关键点位置热力图损失和关键点特征相似度损失组成；关键点热力图损失使用了均方差熵损失，表示为：
Figure BDA0003411475580000109
其中，Kprd-n表示网络输出的关键点n的热图，Kgt-n表示真实标签下的关键点n的热图。
该模块整体损失可表示为：
Lr＝Lk+αLs
在Ls损失函数的基础上引入权重α，以帮助学习更精确的数据，取α＝0.25达到最好效果。
由于易混淆的关键点拥有相似的语义特征，人体部件和关节的多样性导致姿态估计有巨大的搜索空间。同样的，关键点与其高相关性的的关键点有高度相似的语义特征，也就是易混淆的关键点，如手腕和手肘，这也是此类关键点精度不高的重要原因；本发明通过构建一种新型的自推理强相关性点混淆惩罚损失来加强学习；计算自推理强相关性点混淆惩罚损失的具体过程如下：
每一个关键点的热力图损失可以表示为：
Figure BDA0003411475580000111
为了避免混淆关键点的出现，加入强相关性混淆关键点的惩罚损失函数Lp来约束，以此可以在强相关性混淆时损失迅速增加，反之迅速减小；对于第n个关键点的强相关性关键点m，它们的混淆惩罚损失
Figure BDA0003411475580000112
的计算公式为：
Figure BDA0003411475580000113
其中，
Figure BDA0003411475580000114
和
Figure BDA0003411475580000115
分别表示第n个关键点和第m个关键点的热力图损失，Lk(Prdn,Gtm)表示第n个关键点的预测热力图与第m个关键点的真实标签热力图的热力图损失，Lk)Prdm,Gtn)表示第m个关键点的预测热力图与第n个关键点的真实标签热力图的热力图损失，δn表示第n个关键点的关键点组。
该惩罚的所有损失的计算公式为：
Figure BDA0003411475580000116
整个模型的整体损失为：
Lrnmi＝Lk+αLs+βLp
当整体损失最小时，训练完成。
本发明使用MPII验证集进行模型评估，相关指标如下：
PCKh：PCKh通过计算预测关键点的坐标和真实标签下的关键点坐标之间的欧式距离来评价。MPII数据集以当前人物的头部作为尺度因子，其计算公式为：
Figure BDA0003411475580000121
其中yn是第n个关键点的真实标签值，
Figure BDA0003411475580000122
是第n个关键点的预测值，hhead为头部左上角到右下角的欧氏距离，r为人工设定的阈值，当PCKh计算所得小于设定的r时，才视为预测正确。以HRNet_w32为基准网络为对比，PCKh实验数据对比如下：
Figure BDA0003411475580000123
混淆率：目前对于人体姿态估计的混淆问题还没有公用的评判标准，本发明定义混效为：当一个关键点的预测位置与其强相关性的关键点的真实位置的欧式距离比关键点的真实位置与其强相关性的关键点的真实位置的欧式距离更近时，视为该点混淆。混效率则为混淆的关键点占总关键点数量的比率，混淆率的实验数据对比如下：
Figure BDA0003411475580000124
预测结果可视化对比如图3所示，图左边是HRNet的预测结果，右边是本发明的预测结果，对比得知，本发明通过构建基于强相关性的关键点分组，使用关系网络将强相关性关键点的关系信息融合，并构建相关性损失和相关系混淆惩罚损失，有效地增强了关键点之间的特征融合，预测精度更高，在关键点易混淆的情况下能有效改善混淆问题。
本发明以HRNet为基准网络进行特征提取，在HRNet网络的最后输出预测结果后，引入基于相关性的关系网络模块，并参考人体关节点的相关性理论，将人体强相关性的关键点进行分组，通过RNMI联合强相关性关键点的关系信息，将预测结果与RNMI输出的关系信息进行融合，并通过优化损失函数惩罚混淆关键点，来改善在遮挡和暗部条件下关键点精度低和易混淆的问题；本发明考虑人体关节点本身的特征信息关系，并引入人体结构的先验知识进行人体姿态估计，有效地增强了关键点之间的特征融合，改善了关键点之间的混淆问题，进一步提高了预测精度，估计更准确，具有良好的经济效益。
以上所举实施例，对本发明的目的、技术方案和优点进行了进一步的详细说明，所应理解的是，以上所举实施例仅为本发明的优选实施方式而已，并不用以限制本发明，凡在本发明的精神和原则之内对本发明所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于关键点相关性的人体姿态估计方法，其特征在于，包括：实时获取图像数据，对获取的图像数据进行预处理；将预处理好的图像数据输入到训练好的基于关键点相关性的人体姿态估计模型中，得到人体姿态估计结果；
对基于关键点相关性的人体姿态估计模型进行训练的过程包括：
S1：获取原始图像数据，对原始图像数据进行预处理，得到训练数据集；
S2：采用HRNet网络对训练数据集中的图像数据进行特征提取，得到特征热力图；其中，图像数据包括带有标注的人体关键点；
S3：计算两个关键点之间的相关性，根据相关性对关键点进行分组，得到关键点组；
S4：根据特征热力图和关键点组，采用构建好的RNMI模型对特征热力图进行关系信息融合，得到增强特征的特征热力图；
S5：根据增强特征的特征热力图计算热力图损失，根据增强特征的特征热力图计算特征相似度损失，根据热力图损失计算自推理强相关性点混淆惩罚损失；
S6：根据热力图损失、特征相似度损失和自推理强相关性点混淆惩罚损失计算基于关键点相关性的人体姿态估计模型的整体损失，当整体损失最小时，训练完成。
2.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法，其特征在于，对获取的图像数据进行预处理包括：通过目标检测算法检测出单人人体图像，将检测到的人体图像裁剪为256×256的单人图像；将单人图像进行旋转、缩放和翻转操作，得到增强的图像数据。
3.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法，其特征在于，计算两个关键点之间的相关性，根据相关性对关键点进行分组包括：计算两个关键点之间的互信息；设置互信息阈值；将计算出的互信息与设置的互信息阈值进行对比，若大于设置的互信息阈值，则将两个关键点互相作为对方的强相关性关键点，否则不为强相关性关键点；将所有互为强相关性关键点的关键点分为一组。
4.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法，其特征在于，采用RNMI模型对特征热力图进行关系信息融合包括：
根据特征热力图计算关键点的图像信息权重和空间信息权重；
根据图像信息权重和空间信息权重计算关键点的关系权重；
根据关系权重计算关键点的关系信息加权和；
根据特征热力图和关系信息加权和计算增强特征的特征热力图。
5.根据权利要求4所述的一种基于关键点相关性的人体姿态估计方法，其特征在于，计算关键点的关系权重的公式为：
Figure FDA0003411475570000021
其中，
Figure FDA0003411475570000022
表示关键点m对关键点n的空间信息权重，
Figure FDA0003411475570000023
表示关键点m对关键点n的图像信息权重，
Figure FDA0003411475570000024
表示关键点组内k个关键点对关键点n的空间信息权重，
Figure FDA0003411475570000025
表示关键点组内k个关键点对关键点n的图像信息权重，k表示关键点组中关键点的数量。
6.根据权利要求4所述的一种基于关键点相关性的人体姿态估计方法，其特征在于，计算关键点的关系信息加权和的公式为：
Figure FDA0003411475570000026
其中，ωmn表示关键点的关系权重，
Figure FDA0003411475570000027
为第m个关键点的图像特征，WV为一次线性变换操作，δn表示第n个关键点的关键点组。
7.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法，其特征在于，增强特征的特征热力图表示为：
Figure FDA0003411475570000028
Figure FDA0003411475570000029
其中，
Figure FDA0003411475570000031
表示增强特征的第n个关键点的图像特征，
Figure FDA0003411475570000032
表示第n个关键点的图像特征，
Figure FDA0003411475570000033
表示关键点t对关键点n的关系特征，δn表示第n个关键点的关键点组，T表示第n个关键点的关键点组中关键点的总数，fR(n)表示T个关键点对第n个关键点的关系信息加权和。
8.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法，其特征在于，特征相似度损失公式为：
Figure FDA0003411475570000034
其中，m和n分别表示当前第m个关键点和第n关键点，
Figure FDA0003411475570000035
表示预测的关键点m与关键点n的特征相似度，
Figure FDA0003411475570000036
表示真实标签下关键点m与关键点n的特征相似度，N表示关键点的数量。
9.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法，其特征在于，自推理强相关性点混淆惩罚损失公式为：
Figure FDA0003411475570000037
Figure FDA0003411475570000038
其中，Lp表示总自推理强相关性点混淆惩罚损失，
Figure FDA0003411475570000039
表示，
Figure FDA00034114755700000310
和
Figure FDA00034114755700000311
分别表示第n个关键点和第m个关键点的热力图损失，Lk(Prdn,Gtm)表示第n个关键点的预测热力图与第m个关键点的真实标签热力图的热力图损失，Lk(Prdm,Gtn)表示第m个关键点的预测热力图与第n个关键点的真实标签热力图的热力图损失，δn表示第n个关键点的关键点组。
10.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法，其特征在于，整体损失公式为
Lrnmi＝Lk+αLs+βLp
Figure FDA0003411475570000041
其中，Lrnmi表示模型的整体损失，Lk表示热力图损失，Ls表示特征相似度损失，Lp表示自推理强相关性点混淆惩罚损失，α表示特征相似度损失的权重，β表示推理强相关性点混淆惩罚损失的权重，Kprd-n表示网络输出的关键点n的热图，Kgt-n表示真实标签下的关键点n的热图，N表示关键点总数。
CN202111530948.4A 2021-12-15 2021-12-15 一种基于关键点相关性的人体姿态估计方法 Pending CN114299536A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111530948.4A CN114299536A (zh) 2021-12-15 2021-12-15 一种基于关键点相关性的人体姿态估计方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111530948.4A CN114299536A (zh) 2021-12-15 2021-12-15 一种基于关键点相关性的人体姿态估计方法

Publications (1)

Publication Number Publication Date
CN114299536A true CN114299536A (zh) 2022-04-08

Family

ID=80967305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111530948.4A Pending CN114299536A (zh) 2021-12-15 2021-12-15 一种基于关键点相关性的人体姿态估计方法

Country Status (1)

Country Link
CN (1) CN114299536A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028657A (zh) * 2022-12-30 2023-04-28 翱瑞(深圳)科技有限公司 基于运动检测技术的智能云相框的分析***

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116028657A (zh) * 2022-12-30 2023-04-28 翱瑞(深圳)科技有限公司 基于运动检测技术的智能云相框的分析***

Similar Documents

Publication Publication Date Title
CN110135375B (zh) 基于全局信息整合的多人姿态估计方法
US20200193206A1 (en) Scene and user-input context aided visual search
CN111177446B (zh) 一种用于足迹图像检索的方法
CN112100346B (zh) 基于细粒度图像特征和外部知识相融合的视觉问答方法
CN109800794B (zh) 一种外观相似目标的跨相机重识别融合方法及***
CN108734210B (zh) 一种基于跨模态多尺度特征融合的对象检测方法
CN107832672A (zh) 一种利用姿态信息设计多损失函数的行人重识别方法
CN112926396A (zh) 一种基于双流卷积注意力的动作识别方法
CN110110694B (zh) 一种基于目标检测的视觉slam闭环检测方法
CN111709311A (zh) 一种基于多尺度卷积特征融合的行人重识别方法
CN113408455A (zh) 一种基于多流信息增强图卷积网络的动作识别方法、***及存储介质
CN113239907B (zh) 一种人脸识别的检测方法、装置、电子设备及存储介质
CN113963032A (zh) 一种融合目标重识别的孪生网络结构目标跟踪方法
CN113076891B (zh) 基于改进高分辨率网络的人体姿态预测方法及***
CN114445201A (zh) 一种基于多模态预训练模型的组合商品检索方法及***
CN107977948B (zh) 一种面向社群图像的显著图融合方法
CN106407978B (zh) 一种结合似物度的无约束视频中显著物体检测方法
CN112329662B (zh) 基于无监督学习的多视角显著性估计方法
CN113554679A (zh) 一种面向计算机视觉应用的无锚框目标跟踪算法
CN112001217A (zh) 基于深度学习的多人人体姿态估计算法
CN115115969A (zh) 视频检测方法、装置、设备、存储介质和程序产品
CN117011883A (zh) 一种基于金字塔卷积和Transformer双分支的行人重识别方法
CN113011359B (zh) 一种基于图像的同时检测平面结构和生成平面描述的方法及应用
CN114067128A (zh) 一种基于语义特征的slam回环检测方法
CN114299536A (zh) 一种基于关键点相关性的人体姿态估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination