CN114529605B - 一种基于多视图融合的人体三维姿态估计方法 - Google Patents
一种基于多视图融合的人体三维姿态估计方法 Download PDFInfo
- Publication number
- CN114529605B CN114529605B CN202210141547.8A CN202210141547A CN114529605B CN 114529605 B CN114529605 B CN 114529605B CN 202210141547 A CN202210141547 A CN 202210141547A CN 114529605 B CN114529605 B CN 114529605B
- Authority
- CN
- China
- Prior art keywords
- camera
- dimensional
- heat map
- human body
- joint point
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 27
- 230000004927 fusion Effects 0.000 title claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 26
- 238000012546 transfer Methods 0.000 claims abstract description 9
- 230000009466 transformation Effects 0.000 claims abstract description 6
- 238000012360 testing method Methods 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 22
- 230000004044 response Effects 0.000 claims description 6
- 210000003423 ankle Anatomy 0.000 claims description 4
- 230000008014 freezing Effects 0.000 claims description 4
- 238000007710 freezing Methods 0.000 claims description 4
- 210000003127 knee Anatomy 0.000 claims description 4
- 210000000707 wrist Anatomy 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 230000036544 posture Effects 0.000 abstract 7
- 238000013527 convolutional neural network Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
本发明属于计算机图形学技术领域,具体涉及一种基于多视图融合的人体三维姿态估计方法,首先,将相机1和相机2拍摄的照片分别通过预训练的多级CNN网络输入关节点热图序列H1和H2,然后,通过预训练的空间转移网络STN将相机2的关节点热图序列H2中的每一张热图进行空间变换,通过操作,依次获取相机1融合后的关节点热图序列、融合后的人体二维姿态1和2、人体三维姿态和相机外参、新的人体二维姿态,再分别构建人体二维姿态损失函数和人体三维姿态损失函数,最后,进行模型训练和测试;其能够有效提升估计出的二维关节点的精度,直接估计出各个视点的相机外参,提高应用泛化性,得到关节点三维坐标,实现人体三维姿态的准确估计。
Description
技术领域:
本发明属于计算机图形学技术领域,具体涉及一种基于多视图融合的人体三维姿态估计方法,能够实现人体三维姿态的准确估计。
背景技术:
基于多视图融合的深度估计是利用三角形相似原理计算得到的,在各个相机内、外参数准确,空间中的物理点在多视图中映射的像素点精准对应的理想条件下,可以计算得到精确的深度值,进而得到空间点的准确三维坐标。
中国专利201910716814.8公开的一种多视点相机下的实时三维人体体型与姿态重建方法,包括以下步骤:将多个相机架围出捕捉区域,通过相机标定方法标定所述多个相机的相机内参和相机外参;通过标定后的多个相机在所述捕捉区域内采集人体图像,并对所述人体图像进行处理以使所述人体图像转码成RGB图像,利用预先训练好的卷积神经网络对所述RGB图像进行检测并生成每个视角下的人体关节二维坐标信息,对所述人体关节二维信息进行三角化得到人体三维关节坐标信息;利用所述人体三维关节坐标信息优化预设人体模型中的姿态参数和形状参数,再通过时域优化稳定优化后的预设人体模型以得到人体三维重建模型;其首先完成相机的内外参标定,然后通过神经网络对同一时刻的多视点RGB图像进行二维姿态估计,并进行三角化得到人体三维关节坐标信息。中国专利202111131004.X公开的一种基于双目视觉的人体姿态定位方法,包括以下步骤:S1、采用标定方法来获取双目相机的内外参数及其畸变参数,并根据上述参数对双目相机进行图像的校正,以获取无畸变图像;S2、对二维图像中的人体关键点检测,其中所述的人体关键点检测采用深度学习的预测算法,具体为预先训练待检测的人体关键点的权重参数,随后对校正之后的图像进行人体关键点的识别,得到双目相机的人体关键点的像素坐标;S3、对检测出的人体关键点的像素坐标进行三维重建,其中人体关键点的像素坐标为二维关键点坐标,利用三角测量原理重建出三维空间坐标,即三维点云坐标;S4、通过卡尔曼滤波,根据上一时刻得到的人体的三维空间坐标预测当前时刻缺失的人体的三维空间坐标;S5、输出最终的人体的关键点坐标;其首先使用双目相机提取人体关键点,然后利用三角测量原理重建三维关键点坐标,进一步得到一段时间内关键点移动的准确距离等信息。
上述专利利用三角测量方法,能够在理想情况下得到准确的人体三维姿态,但是,在实际应用中会出现一个视图中估计出的关节点,与其他视图中估计出的对应关节点的位置存在偏差的问题,以致于得到错误的人体三维姿态;同时,各个视点的相机外参必须是已知的,一旦相机位置发生变化,需要重新标定相机外参,使得泛化性差。
因此,研究设计一种基于多视图融合的人体三维姿态估计方法,以有效解决多视点估计出的关节点存在位置偏差和应用泛化性差的问题。
发明内容:
本发明的目的在于克服现有技术存在的缺点,寻求设计一种基于多视图融合的人体三维姿态估计方法,有效提升估计出的二维关节点的精度,直接估计出各个视点的相机外参,提高应用泛化性,得到关节点三维坐标。
本发明涉及的一种基于多视图融合的人体三维姿态估计方法的具体工艺过程为:
S1、多视图关节点热图
将相机1和相机2拍摄的照片分别通过预训练的多级CNN网络输入关节点热图序列H1和H2;
S2、多视图热图融合
首先,通过预训练的空间转移网络STN将相机2的关节点热图序列H2中的每一张热图进行空间变换,
然后,将空间变换后的关节点热图序列通过全连接层FC,输出结果与相机1的关节点热图序列H1按照序列顺序逐张逐像素相加,得到相机1融合后的关节点热图序列,公式为:
其中,i∈[1,H×W],j∈[1,H×W],p∈[1,17],H为单个关节点热图的高,W为单个关节点热图的宽,为相机1的第p个关节点热图中第i个位置的热力值,/>为融合后的相机1的第p个关节点热图中第i个位置的热力值,/>为相机2的第p个关节点对应热图中第i个位置的热力值,/>为融合后的相机2的第p个关节点热图中第i个位置的热力值,/>为相机2的第p个关节点对应热图中第i个位置对于相机1的第p个关节点对应热图中第j个位置的关联权重,/>为相机1的第p个关节点对应热图中第i个位置对于相机2的第p个关节点对应热图中第j个位置的关联权重;
S3、人体三维姿态和相机外参估计
将融合后的关节点热图序列H1和H2分别通过可微分空间转数字模块DSNT,得到融合后的人体二维姿态1和2,将人体二维姿态1和2、相机1和2的内参参数进行串联,作为多层感知机MLP的输入层,预测得到人体三维姿态和相机外参;
S4、三维-二维投影
利用估计出的相机外参和相机内参,将三维姿态投影到二维图像平面上,得到新的人体二维姿态;
S5、构造损失函数
分别构建人体二维姿态损失函数和人体三维姿态损失函数;
人体二维姿态损失函数为:
其中,和/>分别为融合后的热图估计出的第p个关节点投影到相机1和相机2的二维图像上x方向的坐标,up_1和up_2分别为第p个关节点在相机1和相机2的二维图像上真实的x方向的坐标,/>和/>分别为融合后的热图估计出的第p个关节点投影到相机1和相机2的二维图像上y方向的坐标,vp_1和vp_2分别为第p个关节点在相机1和相机2的二维图像上真实的y方向的坐标;
人体三维姿态损失函数为:
其中,为融合后的热图估计出的第p个关节点在世界坐标系下x方向的坐标,xp为第p个关节点在世界坐标系下真实的x方向的坐标,/>和/>为融合后的热图估计出的第p个关节点在世界坐标系下y和z方向的坐标,yp和zp为第p个关节点在世界坐标系下真实的y和z方向的坐标;
S6、模型训练
选用Human3.6M数据集作为训练数据源,将同一时刻任意选定的相机1和相机2拍摄的同一个目标人物的图片及其对应的相机内参、真实的2D姿态(只提取17个关节点)、真实的3D姿态(只提取17个关节点)构成一组训练数据,整理完毕后,以每5组训练数据作为一次训练的输入数据量,冻结多级CNN和空间转移网络STN参数,根据步骤S5构造的两个损失函数,求解其梯度,并反向修正网络参数,直至损失值下降并趋于稳定,结束模型训练;
S7、模型测试
选取未知架设位置和角度的两台能够拍摄到完整人体目标的相机,已知相机内参,将同时拍摄的一组图片作为模型输入,输出得到估计出的人体三维姿态。
本发明步骤S1涉及的预训练的多级CNN网络结构为openpose网络中的多级CNN,修改了训练的输入关节点,以及每一级CNN输出的关节点热图和关节响应场数量;修改后的输入关节点包括尾椎、左髋、右髋、左膝、右膝、左脚踝、右脚踝、脊柱、胸、脖子、头、左肩、右肩、左手肘、右手肘、左手腕和右手腕共17个;修改后的每一级CNN输出的关节点热图数量为18,包括17张关节点热图和1张背景热图;修改后的每一级CNN输出的关节响应场数量为36,包括每个关节响应场的x和y两个方向的值,18*2=36。
本发明步骤S3涉及的多层感知机MLP包含4层,其中,输入层的大小为76,包括:融合后的人体二维姿态,大小为17*2,即17个关节点,x和y两个坐标值,共有两个人体二维姿态,则17*2*2=68,另外,每个相机的内参包括4个参数,共计4*2=8,将所有数值串联后,总大小为68+8=76;第一个隐含层的大小为128;第二个隐含层的大小为78;输出层的大小为78,包括:人体三维姿态的大小为17*3,17个关节点,x、y和z三个坐标值,以及两个相机的外参,每个相机的外参个数为3*4=12,则总输出大小为17*3+2*12=78。
本发明与现有技术相比,首先,将相机1和相机2拍摄的照片分别通过预训练的多级CNN网络输入关节点热图序列H1和H2,然后,通过预训练的空间转移网络STN将相机2的关节点热图序列H2中的每一张热图进行空间变换,再将空间变换后的关节点热图序列通过全连接层FC,输出结果与相机1的关节点热图序列H1按照序列顺序逐张逐像素相加,得到相机1融合后的关节点热图序列,再将融合后的关节点热图序列H1和H2分别通过可微分空间转数字模块DSNT,得到融合后的人体二维姿态1和2,将人体二维姿态1和2、相机1和2的内参参数进行串联,作为多层感知机MLP的输入层,预测得到人体三维姿态和相机外参,再利用估计出的相机外参和相机内参,将三维姿态投影到二维图像平面上,得到新的人体二维姿态,分别构建人体二维姿态损失函数和人体三维姿态损失函数,再将同一时刻任意选定的相机1和相机2拍摄的同一个目标人物的图片及其对应的相机内参、真实的2D姿态、真实的3D姿态构成一组训练数据,以每5组训练数据作为一次训练的输入数据量,冻结多级CNN和空间转移网络STN参数,根据人体二维姿态损失函数和人体三维姿态损失函数,求解其梯度,并反向修正网络参数,直至损失值下降并趋于稳定,最后,将两台相机同时拍摄的一组图片作为模型输入,输出得到估计出的人体三维姿态;其能够有效提升估计出的二维关节点的精度,直接估计出各个视点的相机外参,提高应用泛化性,得到关节点三维坐标,实现人体三维姿态的准确估计。
附图说明:
图1为本发明实施例1估计出的人体三维姿态示意图。
具体实施方式:
下面通过实施例并结合附图对本发明作进一步说明。
实施例1:
本实施例涉及的一种基于多视图融合的人体三维姿态估计方法的具体步骤为:
S1、输入多视图关节点热图
将相机1和相机2拍摄的照片分别通过预训练的多级CNN网络输入关节点热图序列H1和H2(去除掉背景热图);
S2、多视图热图融合
首先,通过预训练的空间转移网络STN将相机2的关节点热图序列H2中的每一张热图进行空间变换;
然后,将空间变换后的关节点热图序列通过全连接层FC,输出结果与相机1的关节点热图序列H1按照序列顺序逐张逐像素相加,得到相机1融合后的关节点热图序列,公式为:
其中,i∈[1,H×W],j∈[1,H×W],p∈[1,17],H为单个关节点热图的高,W为单个关节点热图的宽,为相机1的第p个关节点热图中第i个位置的热力值,/>为融合后的相机1的第p个关节点热图中第i个位置的热力值,/>为相机2的第p个关节点对应热图中第i个位置的热力值,/>为融合后的相机2的第p个关节点热图中第i个位置的热力值,/>为相机2的第p个关节点对应热图中第i个位置对于相机1的第p个关节点对应热图中第j个位置的关联权重,/>为相机1的第p个关节点对应热图中第i个位置对于相机2的第p个关节点对应热图中第j个位置的关联权重;
S3、人体三维姿态和相机外参估计
将融合后的关节点热图序列H1和H2分别通过可微分空间转数字模块DSNT,得到融合后的人体二维姿态1和2,将人体二维姿态1和2、相机1和2的内参参数进行串联,作为多层感知机MLP的输入层,预测得到人体三维姿态和相机外参;
三维空间中一点(x,y,z)与拍摄的二维图像中的该点所在的像素位置(u,v)之间的对应关系为:
其中,K为相机的内参矩阵,R为相机的外参矩阵,s为空间点在相机坐标系z方向的值;K为已知量,且在使用过程中不会发生变化,R会根据摆放位置和角度的改变发生变化,根据三维空间中一点与二维图像像素位置之间的对应关系可知:R的改变反映空间点在图像中显示的像素位置的改变,所以,能够通过图像中的二维姿态估计出空间中的三维姿态;
S4、三维-二维投影
利用估计出的相机外参和相机内参,将三维姿态投影到二维图像平面上,得到新的人体二维姿态;
S5、构造损失函数
分别构建人体二维姿态损失函数和人体三维姿态损失函数;
人体二维姿态损失函数为:
其中,和/>分别为融合后的热图估计出的第p个关节点投影到相机1和相机2的二维图像上x方向的坐标,up_1和up_2分别为第p个关节点在相机1和相机2的二维图像上真实的x方向的坐标,/>和/>分别为融合后的热图估计出的第p个关节点投影到相机1和相机2的二维图像上y方向的坐标,vp_1和vp_2分别为第p个关节点在相机1和相机2的二维图像上真实的y方向的坐标;
人体三维姿态损失函数为:
其中,为融合后的热图估计出的第p个关节点在世界坐标系下x方向的坐标,xp为第p个关节点在世界坐标系下真实的x方向的坐标,/>和/>为融合后的热图估计出的第p个关节点在世界坐标系下y和z方向的坐标,yp和zp为第p个关节点在世界坐标系下真实的y和z方向的坐标;
S6、模型训练
选用Human3.6M数据集作为训练数据源,将同一时刻任意选定的相机1和相机2拍摄的同一个目标人物的图片及其对应的相机内参、真实的2D姿态(只提取17个关节点)、真实的3D姿态(只提取17个关节点)构成一组训练数据,整理完毕后,以每5组训练数据作为一次训练的输入数据量,冻结多级CNN和空间转移网络STN参数,根据步骤S5构造的两个损失函数,求解其梯度,并反向修正网络参数,直至损失值下降到接近于0并趋于稳定,结束模型训练;
S7、模型测试
选取未知架设位置和角度的两台能够拍摄到完整人体目标的相机,已知相机内参,将同时拍摄的一组图片作为模型输入,输出得到如图1所示的估计出的人体三维姿态。
Claims (8)
1.一种基于多视图融合的人体三维姿态估计方法,其特征在于,包括以下步骤:
S1、输入多视图关节点热图
将相机1和相机2拍摄的照片分别输入预训练的多级CNN网络获得关节点热图序列H1和H2;
S2、多视图热图融合
首先,通过预训练的空间转移网络STN将相机2的关节点热图序列H2中的每一张热图进行空间变换,
然后,将空间变换后的关节点热图序列通过全连接层FC,输出结果与相机1的关节点热图序列H1按照序列顺序逐张逐像素相加,得到相机1融合后的关节点热图序列;
S3、人体三维姿态和相机外参估计
将融合后的关节点热图序列H1和H2分别通过可微分空间转数字模块DSNT,得到融合后的人体二维姿态1和2,将人体二维姿态1和2、相机1和2的内参参数进行串联,作为多层感知机MLP的输入层,预测得到人体三维姿态和相机外参;
S4、三维-二维投影
利用估计出的相机外参和相机内参,将三维姿态投影到二维图像平面上,得到新的人体二维姿态;
S5、构造损失函数
分别构建人体二维姿态损失函数和人体三维姿态损失函数;
S6、模型训练
选用Human3.6M数据集作为训练数据源,将同一时刻任意选定的相机1和相机2拍摄的同一个目标人物的图片及其对应的相机内参、真实的2D姿态、真实的3D姿态构成一组训练数据,以每5组训练数据作为一次训练的输入数据量,冻结多级CNN和空间转移网络STN参数,根据步骤S5构造的两个损失函数,求解其梯度,反向修正网络参数,直至损失值下降并趋于稳定,结束模型训练;
S7、模型测试
选取未知架设位置和角度的两台能够拍摄到完整人体目标的相机,已知相机内参,将同时拍摄的一组图片作为模型输入,输出得到估计出的人体三维姿态;步骤S2涉及的融合后的关节点热图序列公式为:
,
其中,,H为单个关节点热图的高,W为单个关节点热图的宽,/>为相机1的第p个关节点热图中第i个位置的热力值,/>为融合后的相机1的第p个关节点热图中第i个位置的热力值,/>为相机2的第p个关节点对应热图中第i个位置的热力值,/>为融合后的相机2的第p个关节点热图中第i个位置的热力值,/>为相机2的第p个关节点对应热图中第i个位置对于相机1的第p个关节点对应热图中第j个位置的关联权重,/>为相机1的第p个关节点对应热图中第i个位置对于相机2的第p个关节点对应热图中第j个位置的关联权重。
2.根据权利要求1所述的基于多视图融合的人体三维姿态估计方法,其特征在于,步骤S1涉及的预训练的多级CNN网络结构为openpose网络中的多级CNN,修改了训练的输入关节点,以及每一级CNN输出的关节点热图和关节响应场数量。
3.根据权利要求1所述的基于多视图融合的人体三维姿态估计方法,其特征在于,步骤S3涉及的多层感知机MLP包含4层:大小为76的输入层、大小为128的第一个隐含层、大小为78的第二个隐含层和大小为78的输出层。
4.根据权利要求1所述的基于多视图融合的人体三维姿态估计方法,其特征在于,步骤S5涉及的人体二维姿态损失函数为:
其中,/>和/>分别为融合后的热图估计出的第p个关节点投影到相机1和相机2的二维图像上x方向的坐标,/>和/>分别为第p个关节点在相机1和相机2的二维图像上真实的x方向的坐标,/>和/>分别为融合后的热图估计出的第p个关节点投影到相机1和相机2的二维图像上y方向的坐标,/>和/>分别为第p个关节点在相机1和相机2的二维图像上真实的y方向的坐标。
5.根据权利要求1或4所述的基于多视图融合的人体三维姿态估计方法,其特征在于,步骤S5涉及的人体三维姿态损失函数为:
其中,/>为融合后的热图估计出的第p个关节点在世界坐标系下x方向的坐标,/>为第p个关节点在世界坐标系下真实的x方向的坐标,/>和/>为融合后的热图估计出的第p个关节点在世界坐标系下y和z方向的坐标,/>和/>为第p个关节点在世界坐标系下真实的y和z方向的坐标。
6.根据权利要求2所述的基于多视图融合的人体三维姿态估计方法,其特征在于,修改后的输入关节点包括尾椎、左髋、右髋、左膝、右膝、左脚踝、右脚踝、脊柱、胸、脖子、头、左肩、右肩、左手肘、右手肘、左手腕和右手腕共17个;修改后的每一级CNN输出的关节点热图数量为18,包括17张关节点热图和1张背景热图;修改后的每一级CNN输出的关节响应场数量为36,包括每个关节响应场的x和y两个方向的值。
7.根据权利要求3所述的基于多视图融合的人体三维姿态估计方法,其特征在于,输入层包括:融合后的人体二维姿态,两个人体二维姿态的17个关节点的x和y两个坐标值,以及每个相机的内参,每个相机的外参个数为4。
8.根据权利要求3所述的基于多视图融合的人体三维姿态估计方法,其特征在于,输出层包括:人体三维姿态的17个关节点的x、y和z三个坐标值,以及两个相机的外参,每个相机的外参个数为3*4=12。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210141547.8A CN114529605B (zh) | 2022-02-16 | 2022-02-16 | 一种基于多视图融合的人体三维姿态估计方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210141547.8A CN114529605B (zh) | 2022-02-16 | 2022-02-16 | 一种基于多视图融合的人体三维姿态估计方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114529605A CN114529605A (zh) | 2022-05-24 |
CN114529605B true CN114529605B (zh) | 2024-05-24 |
Family
ID=81622837
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210141547.8A Active CN114529605B (zh) | 2022-02-16 | 2022-02-16 | 一种基于多视图融合的人体三维姿态估计方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114529605B (zh) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115953513B (zh) * | 2022-12-30 | 2023-11-07 | 北京元起点信息科技有限公司 | 一种可驱动三维人头模型重建方法、装置、设备及介质 |
CN116206332B (zh) * | 2023-01-31 | 2023-08-08 | 北京数美时代科技有限公司 | 一种基于姿态估计的行人重识别方法、***和存储介质 |
CN115984972B (zh) * | 2023-03-20 | 2023-08-11 | 乐歌人体工学科技股份有限公司 | 基于运动视频驱动的人体姿态识别方法 |
CN116665311B (zh) * | 2023-07-31 | 2023-10-20 | 苏州万店掌网络科技有限公司 | 行为识别方法、装置、设备及可读存储介质 |
CN117292407B (zh) * | 2023-11-27 | 2024-03-26 | 安徽炬视科技有限公司 | 一种3d人体姿态估计方法及*** |
CN117557700B (zh) * | 2024-01-12 | 2024-03-22 | 杭州优链时代科技有限公司 | 一种用于人物建模的方法及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109033946A (zh) * | 2018-06-08 | 2018-12-18 | 东南大学 | 融合方向图的人体姿态估计方法 |
CN110427877A (zh) * | 2019-08-01 | 2019-11-08 | 大连海事大学 | 一种基于结构信息的人体三维姿态估算的方法 |
CN110599540A (zh) * | 2019-08-05 | 2019-12-20 | 清华大学 | 多视点相机下的实时三维人体体型与姿态重建方法及装置 |
CN111597976A (zh) * | 2020-05-14 | 2020-08-28 | 杭州相芯科技有限公司 | 一种基于rgbd相机的多人三维姿态估计方法 |
CN111881773A (zh) * | 2020-07-06 | 2020-11-03 | 武汉大学 | 一种基于位置偏移的事件相机人体姿态估计方法及*** |
CN112597955A (zh) * | 2020-12-30 | 2021-04-02 | 华侨大学 | 一种基于特征金字塔网络的单阶段多人姿态估计方法 |
CN113239892A (zh) * | 2021-06-10 | 2021-08-10 | 青岛联合创智科技有限公司 | 一种基于数据增强架构的单目人体三维姿态估计方法 |
CN113361378A (zh) * | 2021-06-02 | 2021-09-07 | 合肥工业大学 | 一种运用适应性数据增强的人体姿态估计方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11308314B2 (en) * | 2019-03-21 | 2022-04-19 | Toyota Research Institute, Inc. | Systems, devices, and methods for generating a pose estimate of an object |
-
2022
- 2022-02-16 CN CN202210141547.8A patent/CN114529605B/zh active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109033946A (zh) * | 2018-06-08 | 2018-12-18 | 东南大学 | 融合方向图的人体姿态估计方法 |
CN110427877A (zh) * | 2019-08-01 | 2019-11-08 | 大连海事大学 | 一种基于结构信息的人体三维姿态估算的方法 |
CN110599540A (zh) * | 2019-08-05 | 2019-12-20 | 清华大学 | 多视点相机下的实时三维人体体型与姿态重建方法及装置 |
CN111597976A (zh) * | 2020-05-14 | 2020-08-28 | 杭州相芯科技有限公司 | 一种基于rgbd相机的多人三维姿态估计方法 |
CN111881773A (zh) * | 2020-07-06 | 2020-11-03 | 武汉大学 | 一种基于位置偏移的事件相机人体姿态估计方法及*** |
CN112597955A (zh) * | 2020-12-30 | 2021-04-02 | 华侨大学 | 一种基于特征金字塔网络的单阶段多人姿态估计方法 |
CN113361378A (zh) * | 2021-06-02 | 2021-09-07 | 合肥工业大学 | 一种运用适应性数据增强的人体姿态估计方法 |
CN113239892A (zh) * | 2021-06-10 | 2021-08-10 | 青岛联合创智科技有限公司 | 一种基于数据增强架构的单目人体三维姿态估计方法 |
Non-Patent Citations (3)
Title |
---|
基于深度图像的实时多人体姿态估计;肖贤鹏;刘理想;胡莉;张华;;传感器与微***;20200602(第06期);全文 * |
结合稀疏表示和深度学习的视频中3D人体姿态估计;王伟楠;张荣;郭立君;;中国图象图形学报;20200316(第03期);全文 * |
面向AR沙盘异地协同标绘的动作重构技术;李维浩;姚世明;李蔚清;苏智勇;;北京理工大学学报;20191215(第12期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114529605A (zh) | 2022-05-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114529605B (zh) | 一种基于多视图融合的人体三维姿态估计方法 | |
CN107564061B (zh) | 一种基于图像梯度联合优化的双目视觉里程计算方法 | |
CN106447766B (zh) | 一种基于移动设备单目相机的场景重建方法及装置 | |
CN110296691A (zh) | 融合imu标定的双目立体视觉测量方法与*** | |
CN102842117B (zh) | 显微视觉***中运动误差矫正方法 | |
CN110617814A (zh) | 单目视觉和惯性传感器融合的远距离测距***及方法 | |
CN113205595B (zh) | 一种3d人体姿态估计模型的构建方法及其应用 | |
CN111899282A (zh) | 基于双目摄像机标定的行人轨迹跟踪方法及装置 | |
CN107038753B (zh) | 立体视觉三维重建***及方法 | |
CN110517284B (zh) | 一种基于激光雷达和ptz摄像机的目标追踪方法 | |
CN114627491A (zh) | 一种基于极线汇聚的单人三维姿态估计方法 | |
CN112580683B (zh) | 一种基于互相关的多传感器数据时间对齐***及其方法 | |
CN110517309A (zh) | 一种基于卷积神经网络的单目深度信息获取方法 | |
CN106500625A (zh) | 一种远心立体视觉测量装置及其应用于物体三维形貌微米级精度测量的方法 | |
CN111998862A (zh) | 一种基于bnn的稠密双目slam方法 | |
CN113393439A (zh) | 一种基于深度学习的锻件缺陷检测方法 | |
CN115410233B (zh) | 一种基于卡尔曼滤波和深度学习的手势姿态估计方法 | |
CN109785373A (zh) | 一种基于散斑的六自由度位姿估计***及方法 | |
CN111524174A (zh) | 一种动平台动目标双目视觉三维构建方法 | |
CN112598706A (zh) | 无需精确时空同步的多相机运动目标三维轨迹重建方法 | |
WO2022018811A1 (ja) | 被写体の3次元姿勢推定装置、3次元姿勢推定方法、及びプログラム | |
CN112329723A (zh) | 一种基于双目相机的多人人体3d骨骼关键点定位方法 | |
CN109785393B (zh) | 一种基于平面运动约束的相机自标定方法 | |
CN115205737B (zh) | 基于Transformer模型的运动实时计数方法和*** | |
CN103310448B (zh) | 用于das的摄像装置姿态角估计及实时生成合成图的方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |