CN110599540A - 多视点相机下的实时三维人体体型与姿态重建方法及装置 - Google Patents

多视点相机下的实时三维人体体型与姿态重建方法及装置 Download PDF

Info

Publication number
CN110599540A
CN110599540A CN201910716814.8A CN201910716814A CN110599540A CN 110599540 A CN110599540 A CN 110599540A CN 201910716814 A CN201910716814 A CN 201910716814A CN 110599540 A CN110599540 A CN 110599540A
Authority
CN
China
Prior art keywords
human body
dimensional
camera
parameters
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910716814.8A
Other languages
English (en)
Other versions
CN110599540B (zh
Inventor
刘烨斌
张宇翔
安亮
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xinchangyuan Technology Co ltd
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910716814.8A priority Critical patent/CN110599540B/zh
Publication of CN110599540A publication Critical patent/CN110599540A/zh
Application granted granted Critical
Publication of CN110599540B publication Critical patent/CN110599540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多视点相机下的实时三维人体体型与姿态重建方法及装置，其中，该方法包括：将多个相机架围出捕捉区域，通过相机标定方法标定多个相机的相机内参和相机外参；通过标定后的多个相机在捕捉区域内采集人体图像并处理以使人体图像转码成RGB图像，利用预先训练好的卷积神经网络对RGB图像进行检测并生成每个视角下的人体关节二维坐标信息，并对其进行三角化得到人体三维关节坐标信息；利用人体三维关节坐标信息优化预设人体模型中的姿态参数和形状参数，再通过时域优化稳定优化后的预设人体模型以得到人体三维重建模型。该方法利用深度学习来完成人体姿态的估计，在试验环境下，可以实时对多人的人体模型进行拟合与渲染。

Description

多视点相机下的实时三维人体体型与姿态重建方法及装置
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种多视点相机下的实时三维人体体型与姿态重建方法及装置。
背景技术
随着计算机计算能力的提高以及图形卡的不断迭代，深度学习技术得以迅猛发展，极大地推动了计算机视觉领域。目前的重建技术主要分为两种，一种是利用普通的RGB相机，通过多目特征点匹配并三角化得到深度信息，另一种是直接利用深度相机，得到深度图进行重建，比如苹果公司发布的新iPhoneX就搭载了一颗深度相机来完成人脸重建，把这种技术推向消费领域。
但相对于RGB相机，深度相机的缺点有受环境光干扰大，深度检测距离有限等，价格昂贵等，因此利用普及率高的RGB相机进行人体重建具有更大的潜力，主要可以应用在虚拟试衣，CG游戏等领域。而传统方法对人体重建大多采用的是穿戴传感器或是绿幕分割等方法，对环境要求很高，或是需要庞大的计算量而无法满足实时性要求。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的一个目的在于提出一种多视点相机下的实时三维人体体型与姿态重建方法，该方法结合深度学习技术对人体体态进行估计，可以实现对多人的人体模型的重建。
本发明的另一个目的在于提出一种多视点相机下的实时三维人体体型与姿态重建装置。
为达到上述目的，本发明一方面实施例提出了一种多视点相机下的实时三维人体体型与姿态重建方法，包括：
将多个相机架围出捕捉区域，通过相机标定方法标定所述多个相机的相机内参和相机外参；
通过标定后的多个相机在所述捕捉区域内采集人体图像，并对所述人体图像进行处理以使所述人体图像转码成RGB图像，利用预先训练好的卷积神经网络对所述RGB图像进行检测并生成每个视角下的人体关节二维坐标信息，对所述人体关节二维信息进行三角化得到人体三维关节坐标信息；
利用所述人体三维关节坐标信息优化预设人体模型中的姿态参数和形状参数，再通过时域优化稳定优化后的预设人体模型以得到人体三维重建模型。
本发明实施例的多视点相机下的实时三维人体体型与姿态重建方法，通过对人体模型采集人体图像，将人体图像转换为RGB图像，进而通过卷积神经网络进行检测生成二维关节坐标信息，并对其进行三角化，生成三维关节坐标信息，利用三维关节坐标信息优化预设人体模型得到人体三维重建模型，实现人体三维重建。
另外，根据本发明上述实施例的多视点相机下的实时三维人体体型与姿态重建方法还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述标定所述多个相机的相机内参和相机外参，包括：
通过棋盘格标定方法对所述相机内参和所述相机外参进行标定。
进一步地，在本发明的一个实施例中，通过所述标定后的多个相机采集所述人体图像，通过PCIe接口将所述人体图像传送到主机的采集卡上，通过cuda程序将所述人体图像进行转码，缩放成三通道RGB矩阵形式，得到所述RGB图像。
进一步地，在本发明的一个实施例中，所述预设人体模型为开源的线性模型SMPL，所述线性模型SMPL通过姿态参数和形状参数驱动，利用所述人体三维关节坐标信息约束；
在所述线性模型SMPL中加入高斯混合模型约束肢体的自转，以使三维重建后的人体姿态为人体合理姿态。
进一步地，在本发明的一个实施例中，通过伽马校正对所述RGB图像进行校正；通过人体轮廓信息对所述预设人体模型进行优化。
为达到上述目的，本发明另一方面实施例提出了一种多视点相机下的实时三维人体体型与姿态重建装置，包括：
搭建模块，用于将多个相机架围出捕捉区域，通过相机标定方法标定所述多个相机的相机内参和相机外参；
处理模块，用于通过标定后的多个相机在所述捕捉区域内采集人体图像，并对所述人体图像进行处理以使所述人体图像转码成RGB图像，利用预先训练好的卷积神经网络对所述RGB图像进行检测并生成每个视角下的人体关节二维坐标信息，对所述人体关节二维信息进行三角化得到人体三维关节坐标信息；
重建模块，用于利用所述人体三维关节坐标信息优化预设人体模型中的姿态参数和形状参数，再通过时域优化稳定优化后的预设人体模型以得到人体三维重建模型。
本发明实施例的多视点相机下的实时三维人体体型与姿态重建装置，通过对人体模型采集人体图像，将人体图像转换为RGB图像，进而通过卷积神经网络进行检测生成二维关节坐标信息，并对其进行三角化，生成三维关节坐标信息，利用三维关节坐标信息优化预设人体模型得到人体三维重建模型，实现人体三维重建。
另外，根据本发明上述实施例的多视点相机下的实时三维人体体型与姿态重建装置还可以具有以下附加的技术特征：
进一步地，在本发明的一个实施例中，所述标定所述多个相机的相机内参和相机外参，包括：
通过棋盘格标定方法对所述相机内参和所述相机外参进行标定。
进一步地，在本发明的一个实施例中，通过所述标定后的多个相机采集所述人体图像，通过PCIe接口将所述人体图像传送到主机的采集卡上，通过cuda程序将所述人体图像进行转码，缩放成三通道RGB矩阵形式，得到所述RGB图像。
进一步地，在本发明的一个实施例中，所述预设人体模型为开源的线性模型SMPL，所述线性模型SMPL通过姿态参数和形状参数驱动，利用所述人体三维关节坐标信息约束；
在所述线性模型SMPL中加入高斯混合模型约束肢体的自转，以使三维重建后的人体姿态为人体合理姿态。
进一步地，在本发明的一个实施例中，通过伽马校正对所述RGB图像进行校正；通过人体轮廓信息对所述预设人体模型进行优化。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为根据本发明一个实施例的多视点相机下的实时三维人体体型与姿态重建方法流程图；
图2为根据本发明一个实施例的多视点相机下的实时三维人体体型与姿态重建方法流程框图；
图3为根据本发明一个实施例的多视点相机下的实时三维人体体型与姿态重建装置结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参照附图描述根据本发明实施例提出的多视点相机下的实时三维人体体型与姿态重建方法及装置。
首先将参照附图描述根据本发明实施例提出的多视点相机下的实时三维人体体型与姿态重建方法。
图1为根据本发明一个实施例的多视点相机下的实时三维人体体型与姿态重建方法流程图。
如图1所示，该多视点相机下的实时三维人体体型与姿态重建方法包括以下步骤：
在步骤S101中，将多个相机架围出捕捉区域，通过相机标定方法标定多个相机的相机内参和相机外参。
具体地，把四个工业相机架设到试验场地，距离地面高度约为1.2m，相机之间距离为3～5m左右，呈矩形状围出捕捉区域。在实际应用中，相机个数、捕捉区域和设置参数可以根据需求进行设置。
进一步地，对相机参数进行标定，作为一种方式，可以采用棋盘标定法对相机进行标定。
对相机参数进行标定，需要标定的参数包括相机内参和相机外参，首先用棋盘格对相机内参进行标定。对于每个相机，需对手持不同姿态的棋盘格进行拍照约20张左右，然后调用matlab标定工具箱对内参进行标定，标定参数包括相机的焦距，畸变参数等。标定完内参后可以继续标定相机外参，同样利用棋盘格和matlab工具箱进行标定，如果对精度要求更高，可以在场景中心铺上富纹理材料使用photoscan进行辅助标定。
在步骤S102中，通过标定后的多个相机在捕捉区域内采集人体图像，并对人体图像进行处理以使人体图像转码成RGB图像，利用预先训练好的卷积神经网络对RGB图像进行检测并生成每个视角下的人体关节二维坐标信息，对人体关节二维信息进行三角化得到人体三维关节坐标信息。
进一步地，在本发明的一个实施例中，通过标定后的多个相机采集人体图像，通过PCIe接口将人体图像传送到主机的采集卡上，通过cuda程序将人体图像进行转码，缩放成三通道RGB矩阵形式，得到RGB图像。
可以理解的是，可以通过伽马校正来提高图像的质量。
具体地，如图2所示，多个相机分别利用采集到的三通道图片完成单目的人体姿态估计，可以使用的有开源工作openpose，alphapose，pose-proposal network等。
通过单目的人体姿态估计可以得到人体各个关节的热点图(heatmap)和关节亲和图(paf)，对关节热点图进行非极大值抑制就可以得到各个关节坐标。
利用多目信息的极线约束对单目的检测结果进行约束，可以得到人体在各个视角下的二维关节坐标信息，再利用相机参数对各个视角下匹配关节的坐标进行三角化，就可以得到每个关节的三维关节坐标信息。
在步骤S103中，利用人体三维关节坐标信息优化预设人体模型中的姿态参数和形状参数，再通过时域优化稳定优化后的预设人体模型以得到人体三维重建模型。
进一步地，利用三维关节坐标信息优化人体模型SMPL的姿态参数和形状参数，并且通过时域优化使结果趋于稳定，消除抖动。
具体的，利用人体三维关节坐标信息拟合出人体模型，人体模型的开源模型，即预设的人体模型为开源的线性模型SMPL，而SMPL定义的关节坐标和姿态检测器(openpose)给出的定义不太相同，需要通过一个回归矩阵完成坐标转换，回归矩阵需要提前利用数据集训练得到。
进一步地，利用得到的三维关节坐标信息作为约束，可以进行参数估计，但由于关节坐标无法约束肢体的自转，可能会出现一些很扭曲的姿态，因此需要再加上一个高斯混合模型进行约束。这个高斯混合模型表示的是人体较为合理的姿态分布，需要提前进行训练。
进一步地，仅用关节坐标无法很好地对形状参数进行估计，因此还需要进一步加入人体轮廓信息进行优化，并且通过时域优化使形状参数趋于稳定。
根据本发明实施例提出的多视点相机下的实时三维人体体型与姿态重建方法，通过对人体模型采集人体图像，将人体图像转换为RGB图像，进而通过卷积神经网络进行检测生成二维关节坐标信息，并对其进行三角化，生成三维关节坐标信息，利用三维关节坐标信息优化预设人体模型得到人体三维重建模型，实现人体三维重建。
其次参照附图描述根据本发明实施例提出的多视点相机下的实时三维人体体型与姿态重建装置。
图3为根据本发明一个实施例的多视点相机下的实时三维人体体型与姿态重建装置。
如图3所示，该多视点相机下的实时三维人体体型与姿态重建装置包括：搭建模块100、处理模块200和重建模块300。
其中，搭建模块100，用于将多个相机架围出捕捉区域，通过相机标定方法标定多个相机的相机内参和相机外参。
处理模块200，用于通过标定后的多个相机在捕捉区域内采集人体图像，并对人体图像进行处理以使人体图像转码成RGB图像，利用预先训练好的卷积神经网络对RGB图像进行检测并生成每个视角下的人体关节二维坐标信息，对人体关节二维信息进行三角化得到人体三维关节坐标信息。
重建模块300，用于利用人体三维关节坐标信息优化预设人体模型中的姿态参数和形状参数，再通过时域优化稳定优化后的预设人体模型以得到人体三维重建模型。
进一步地，在本发明的一个实施例中，标定多个相机的相机内参和相机外参，包括：
通过棋盘格标定方法对相机内参和相机外参进行标定。
进一步地，在本发明的一个实施例中，通过标定后的多个相机采集人体图像，通过PCIe接口将人体图像传送到主机的采集卡上，通过cuda程序将人体图像进行转码，缩放成三通道RGB矩阵形式，得到RGB图像。
进一步地，在本发明的一个实施例中，预设人体模型为开源的线性模型SMPL，线性模型SMPL通过姿态参数和形状参数驱动，利用人体三维关节坐标信息约束；
在线性模型SMPL中加入高斯混合模型约束肢体的自转，以使三维重建后的人体姿态为人体合理姿态。
进一步地，在本发明的一个实施例中，通过伽马校正对RGB图像进行校正；
通过人体轮廓信息对预设人体模型进行优化。
需要说明的是，前述对多视点相机下的实时三维人体体型与姿态重建方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。
根据本发明实施例提出的多视点相机下的实时三维人体体型与姿态重建装置，通过对人体模型采集人体图像，将人体图像转换为RGB图像，进而通过卷积神经网络进行检测生成二维关节坐标信息，并对其进行三角化，生成三维关节坐标信息，利用三维关节坐标信息优化预设人体模型得到人体三维重建模型，实现人体三维重建。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (10)

1.一种多视点相机下的实时三维人体体型与姿态重建方法，其特征在于，包括以下步骤：
将多个相机架围出捕捉区域，通过相机标定方法标定所述多个相机的相机内参和相机外参；
通过标定后的多个相机在所述捕捉区域内采集人体图像，并对所述人体图像进行处理以使所述人体图像转码成RGB图像，利用预先训练好的卷积神经网络对所述RGB图像进行检测并生成每个视角下的人体关节二维坐标信息，对所述人体关节二维信息进行三角化得到人体三维关节坐标信息；
利用所述人体三维关节坐标信息优化预设人体模型中的姿态参数和形状参数，再通过时域优化稳定优化后的预设人体模型以得到人体三维重建模型。
2.根据权利要求1所述的方法，其特征在于，所述标定所述多个相机的相机内参和相机外参，包括：
通过棋盘格标定方法对所述相机内参和所述相机外参进行标定。
3.根据权利要求1所述的方法，其特征在于，
通过所述标定后的多个相机采集所述人体图像，通过PCIe接口将所述人体图像传送到主机的采集卡上，通过cuda程序将所述人体图像进行转码，缩放成三通道RGB矩阵形式，得到所述RGB图像。
4.根据权利要求1所述的方法，其特征在于，
所述预设人体模型为开源的线性模型SMPL，所述线性模型SMPL通过姿态参数和形状参数驱动，利用所述人体三维关节坐标信息约束；
在所述线性模型SMPL中加入高斯混合模型约束肢体的自转，以使三维重建后的人体姿态为人体合理姿态。
5.根据权利要求1所述的方法，其特征在于，
通过伽马校正对所述RGB图像进行校正；
通过人体轮廓信息对所述预设人体模型进行优化。
6.一种多视点相机下的实时三维人体体型与姿态重建装置，其特征在于，包括：
搭建模块，用于将多个相机架围出捕捉区域，通过相机标定方法标定所述多个相机的相机内参和相机外参；
处理模块，用于通过标定后的多个相机在所述捕捉区域内采集人体图像，并对所述人体图像进行处理以使所述人体图像转码成RGB图像，利用预先训练好的卷积神经网络对所述RGB图像进行检测并生成每个视角下的人体关节二维坐标信息，对所述人体关节二维信息进行三角化得到人体三维关节坐标信息；
重建模块，用于利用所述人体三维关节坐标信息优化预设人体模型中的姿态参数和形状参数，再通过时域优化稳定优化后的预设人体模型以得到人体三维重建模型。
7.根据权利要求6所述的装置，其特征在于，所述标定所述多个相机的相机内参和相机外参，包括：
通过棋盘格标定方法对所述相机内参和所述相机外参进行标定。
8.根据权利要求6所述的装置，其特征在于，
通过所述标定后的多个相机采集所述人体图像，通过PCIe接口将所述人体图像传送到主机的采集卡上，通过cuda程序将所述人体图像进行转码，缩放成三通道RGB矩阵形式，得到所述RGB图像。
9.根据权利要求6所述的装置，其特征在于，
所述预设人体模型为开源的线性模型SMPL，所述线性模型SMPL通过姿态参数和形状参数驱动，利用所述人体三维关节坐标信息约束；
在所述线性模型SMPL中加入高斯混合模型约束肢体的自转，以使三维重建后的人体姿态为人体合理姿态。
10.根据权利要求6所述的装置，其特征在于，
通过伽马校正对所述RGB图像进行校正；
通过人体轮廓信息对所述预设人体模型进行优化。
CN201910716814.8A 2019-08-05 2019-08-05 多视点相机下的实时三维人体体型与姿态重建方法及装置 Active CN110599540B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910716814.8A CN110599540B (zh) 2019-08-05 2019-08-05 多视点相机下的实时三维人体体型与姿态重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910716814.8A CN110599540B (zh) 2019-08-05 2019-08-05 多视点相机下的实时三维人体体型与姿态重建方法及装置

Publications (2)

Publication Number Publication Date
CN110599540A true CN110599540A (zh) 2019-12-20
CN110599540B CN110599540B (zh) 2022-06-17

Family

ID=68853608

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910716814.8A Active CN110599540B (zh) 2019-08-05 2019-08-05 多视点相机下的实时三维人体体型与姿态重建方法及装置

Country Status (1)

Country Link
CN (1) CN110599540B (zh)

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047690A (zh) * 2019-12-23 2020-04-21 北京奇艺世纪科技有限公司 模型构建方法和装置、存储介质和电子装置
CN111445475A (zh) * 2020-02-26 2020-07-24 清华大学 基于反向动力学的人体模型姿态预测方法
CN111462302A (zh) * 2020-03-05 2020-07-28 清华大学 基于深度编码网络的多视点人体动态三维重建方法及***
CN111489392A (zh) * 2020-03-30 2020-08-04 清华大学 多人环境下单个目标人体运动姿态捕捉方法及***
CN111583386A (zh) * 2020-04-20 2020-08-25 清华大学 基于标签传播算法的多视角人体姿态重建方法
CN111932678A (zh) * 2020-08-13 2020-11-13 北京未澜科技有限公司 多视点实时人体运动、手势、表情、纹理重建***
CN112070815A (zh) * 2020-09-07 2020-12-11 哈尔滨工业大学（威海） 一种基于人体外轮廓变形的自动瘦身方法
CN112099330A (zh) * 2020-08-31 2020-12-18 中国人民解放军军事科学院国防科技创新研究院 基于外部相机和穿戴式显控设备的全息人体重建方法
CN112419479A (zh) * 2020-11-10 2021-02-26 广州二元科技有限公司 一种基于体重身高及身体影像的体型数据计算方法
CN112837406A (zh) * 2021-01-11 2021-05-25 聚好看科技股份有限公司 一种三维重建方法、装置及***
CN112907631A (zh) * 2021-02-20 2021-06-04 北京未澜科技有限公司 一种引入反馈机制的多rgb相机实时人体动作捕捉***
CN113284249A (zh) * 2021-06-11 2021-08-20 清华大学深圳国际研究生院 一种基于图神经网络的多视角三维人体重建方法及***
CN113658303A (zh) * 2021-06-29 2021-11-16 清华大学 一种基于单目视觉的虚拟人生成方法、装置
CN114170685A (zh) * 2021-12-06 2022-03-11 南京美基森信息技术有限公司 一种基于rgbd图像行人搭乘自动扶梯摔倒行为的检测方法
CN114373018A (zh) * 2021-12-06 2022-04-19 聚好看科技股份有限公司 一种实时驱动方法、装置及设备
CN114529605A (zh) * 2022-02-16 2022-05-24 青岛联合创智科技有限公司 一种基于多视图融合的人体三维姿态估计方法
CN116403275A (zh) * 2023-03-14 2023-07-07 南京航空航天大学 基于多目视觉检测封闭空间中人员行进姿态的方法及***
TWI822473B (zh) * 2022-11-18 2023-11-11 財團法人資訊工業策進會 提供動作改善資訊的方法、處理控制裝置以及系統
CN117726907A (zh) * 2024-02-06 2024-03-19 之江实验室 一种建模模型的训练方法、三维人体建模的方法以及装置
CN117745978A (zh) * 2024-02-20 2024-03-22 四川大学华西医院 一种基于人体三维重建算法的仿真质控方法、设备和介质
WO2024103890A1 (zh) * 2022-11-18 2024-05-23 苏州元脑智能科技有限公司 模型构建方法、重建方法、装置、电子设备及非易失性可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916456A (zh) * 2010-08-11 2010-12-15 李浩民 一种个性化三维动漫的制作方法
CN107945269A (zh) * 2017-12-26 2018-04-20 清华大学 基于多视点视频的复杂动态人体对象三维重建方法及***
CN108053469A (zh) * 2017-12-26 2018-05-18 清华大学 多视角相机下的复杂动态场景人体三维重建方法及装置
CN109859296A (zh) * 2019-02-01 2019-06-07 腾讯科技（深圳）有限公司 Smpl参数预测模型的训练方法、服务器及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101916456A (zh) * 2010-08-11 2010-12-15 李浩民 一种个性化三维动漫的制作方法
CN107945269A (zh) * 2017-12-26 2018-04-20 清华大学 基于多视点视频的复杂动态人体对象三维重建方法及***
CN108053469A (zh) * 2017-12-26 2018-05-18 清华大学 多视角相机下的复杂动态场景人体三维重建方法及装置
CN109859296A (zh) * 2019-02-01 2019-06-07 腾讯科技（深圳）有限公司 Smpl参数预测模型的训练方法、服务器及存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ANDREA BIGNOLI ET AL.: ""Multi-View Stereo 3D Edge Reconstruction"", 《ARXIV》 *
KUN LI ET AL.: ""Shape and Pose Estimation for Closely Interacting Persons Using Multi-view Images"", 《PACIFIC GRAPHICS 2018》 *
孟影: ""多视角动态三维重建技术研究与实现"", 《中国优秀博硕士学位论文全文数据库（硕士） 信息科技辑》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047690A (zh) * 2019-12-23 2020-04-21 北京奇艺世纪科技有限公司 模型构建方法和装置、存储介质和电子装置
CN111047690B (zh) * 2019-12-23 2023-12-15 北京奇艺世纪科技有限公司 模型构建方法和装置、存储介质和电子装置
CN111445475A (zh) * 2020-02-26 2020-07-24 清华大学 基于反向动力学的人体模型姿态预测方法
CN111445475B (zh) * 2020-02-26 2022-06-24 清华大学 基于反向动力学的人体模型姿态预测方法
CN111462302A (zh) * 2020-03-05 2020-07-28 清华大学 基于深度编码网络的多视点人体动态三维重建方法及***
CN111462302B (zh) * 2020-03-05 2022-06-03 清华大学 基于深度编码网络的多视点人体动态三维重建方法及***
CN111489392A (zh) * 2020-03-30 2020-08-04 清华大学 多人环境下单个目标人体运动姿态捕捉方法及***
CN111489392B (zh) * 2020-03-30 2022-09-09 清华大学 多人环境下单个目标人体运动姿态捕捉方法及***
CN111583386B (zh) * 2020-04-20 2022-07-05 清华大学 基于标签传播算法的多视角人体姿态重建方法
CN111583386A (zh) * 2020-04-20 2020-08-25 清华大学 基于标签传播算法的多视角人体姿态重建方法
CN111932678A (zh) * 2020-08-13 2020-11-13 北京未澜科技有限公司 多视点实时人体运动、手势、表情、纹理重建***
CN112099330A (zh) * 2020-08-31 2020-12-18 中国人民解放军军事科学院国防科技创新研究院 基于外部相机和穿戴式显控设备的全息人体重建方法
CN112070815A (zh) * 2020-09-07 2020-12-11 哈尔滨工业大学（威海） 一种基于人体外轮廓变形的自动瘦身方法
CN112070815B (zh) * 2020-09-07 2024-01-05 哈尔滨工业大学（威海） 一种基于人体外轮廓变形的自动瘦身方法
CN112419479A (zh) * 2020-11-10 2021-02-26 广州二元科技有限公司 一种基于体重身高及身体影像的体型数据计算方法
CN112837406B (zh) * 2021-01-11 2023-03-14 聚好看科技股份有限公司 一种三维重建方法、装置及***
CN112837406A (zh) * 2021-01-11 2021-05-25 聚好看科技股份有限公司 一种三维重建方法、装置及***
CN112907631A (zh) * 2021-02-20 2021-06-04 北京未澜科技有限公司 一种引入反馈机制的多rgb相机实时人体动作捕捉***
CN113284249A (zh) * 2021-06-11 2021-08-20 清华大学深圳国际研究生院 一种基于图神经网络的多视角三维人体重建方法及***
CN113284249B (zh) * 2021-06-11 2022-05-10 清华大学深圳国际研究生院 一种基于图神经网络的多视角三维人体重建方法及***
CN113658303A (zh) * 2021-06-29 2021-11-16 清华大学 一种基于单目视觉的虚拟人生成方法、装置
CN114373018A (zh) * 2021-12-06 2022-04-19 聚好看科技股份有限公司 一种实时驱动方法、装置及设备
CN114170685A (zh) * 2021-12-06 2022-03-11 南京美基森信息技术有限公司 一种基于rgbd图像行人搭乘自动扶梯摔倒行为的检测方法
CN114373018B (zh) * 2021-12-06 2024-06-28 聚好看科技股份有限公司 一种实时驱动方法、装置及设备
CN114529605B (zh) * 2022-02-16 2024-05-24 青岛联合创智科技有限公司 一种基于多视图融合的人体三维姿态估计方法
CN114529605A (zh) * 2022-02-16 2022-05-24 青岛联合创智科技有限公司 一种基于多视图融合的人体三维姿态估计方法
TWI822473B (zh) * 2022-11-18 2023-11-11 財團法人資訊工業策進會 提供動作改善資訊的方法、處理控制裝置以及系統
WO2024103890A1 (zh) * 2022-11-18 2024-05-23 苏州元脑智能科技有限公司 模型构建方法、重建方法、装置、电子设备及非易失性可读存储介质
CN116403275B (zh) * 2023-03-14 2024-05-24 南京航空航天大学 基于多目视觉检测封闭空间中人员行进姿态的方法及***
CN116403275A (zh) * 2023-03-14 2023-07-07 南京航空航天大学 基于多目视觉检测封闭空间中人员行进姿态的方法及***
CN117726907B (zh) * 2024-02-06 2024-04-30 之江实验室 一种建模模型的训练方法、三维人体建模的方法以及装置
CN117726907A (zh) * 2024-02-06 2024-03-19 之江实验室 一种建模模型的训练方法、三维人体建模的方法以及装置
CN117745978A (zh) * 2024-02-20 2024-03-22 四川大学华西医院 一种基于人体三维重建算法的仿真质控方法、设备和介质
CN117745978B (zh) * 2024-02-20 2024-04-30 四川大学华西医院 一种基于人体三维重建算法的仿真质控方法、设备和介质

Also Published As

Publication number Publication date
CN110599540B (zh) 2022-06-17

Similar Documents

Publication Publication Date Title
CN110599540B (zh) 多视点相机下的实时三维人体体型与姿态重建方法及装置
CN111932678B (zh) 多视点实时人体运动、手势、表情、纹理重建***
CN109448090B (zh) 图像处理方法、装置、电子设备及存储介质
CN112907631B (zh) 一种引入反馈机制的多rgb相机实时人体动作捕捉***
CN104933718B (zh) 一种基于双目视觉的物理坐标定位方法
CN114399554B (zh) 一种多相机***的标定方法及***
WO2019219012A1 (zh) 联合刚性运动和非刚性形变的三维重建方法及装置
CN104537707B (zh) 像方型立体视觉在线移动实时测量***
CN102072706B (zh) 一种多相机定位与跟踪方法及***
WO2023273093A1 (zh) 一种人体三维模型获取方法、装置、智能终端及存储介质
CN104537616A (zh) 鱼眼图像畸变的校正方法
CN102042807B (zh) 一种目标空间坐标的柔性立体视觉测量装置
EP3144900A1 (en) Method, apparatus and terminal for acquiring sign data of target object
CN108053373A (zh) 一种基于深度学习模型鱼眼图像校正方法
CN109949232B (zh) 图像与rtk结合的测量方法、***、电子设备及介质
CN110782498B (zh) 一种视觉传感网络的快速通用标定方法
CN111583386B (zh) 基于标签传播算法的多视角人体姿态重建方法
CN111996883B (zh) 一种检测公路路面宽度的方法
CN105865462A (zh) 带有深度增强视觉传感器的基于事件的三维slam方法
CN111047678B (zh) 一种三维人脸采集装置和方法
CN106203361A (zh) 一种机器人跟踪方法和装置
CN105374067A (zh) 一种基于pal相机的三维重建方法及其重建***
Chaochuan et al. An extrinsic calibration method for multiple RGB-D cameras in a limited field of view
CN115457176A (zh) 一种图像生成方法、装置、电子设备及存储介质
CN103260008B (zh) 一种影像位置到实际位置的射影转换方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20221221

Address after: Room 3346, Floor 3, International Innovation Expo Center, No. 267, Kejiyuan Road, Baiyang Street, Qiantang District, Hangzhou, Zhejiang 310020

Patentee after: Hangzhou Xinchangyuan Technology Co.,Ltd.

Address before: 100084 Tsinghua Yuan, Beijing, Haidian District

Patentee before: TSINGHUA University