CN113763536A - 一种基于rgb图像的三维重建方法 - Google Patents
一种基于rgb图像的三维重建方法 Download PDFInfo
- Publication number
- CN113763536A CN113763536A CN202111030947.3A CN202111030947A CN113763536A CN 113763536 A CN113763536 A CN 113763536A CN 202111030947 A CN202111030947 A CN 202111030947A CN 113763536 A CN113763536 A CN 113763536A
- Authority
- CN
- China
- Prior art keywords
- hand
- dimensional
- dimensional reconstruction
- rgb
- detection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000001514 detection method Methods 0.000 claims abstract description 41
- 238000013135 deep learning Methods 0.000 claims abstract description 7
- 239000000284 extract Substances 0.000 claims abstract 2
- 238000013528 artificial neural network Methods 0.000 claims description 15
- 238000004422 calculation algorithm Methods 0.000 claims description 13
- 238000012549 training Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 claims 1
- 238000000605 extraction Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 5
- 238000013507 mapping Methods 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 23
- 238000011160 research Methods 0.000 description 20
- 230000036544 posture Effects 0.000 description 17
- 238000010586 diagram Methods 0.000 description 12
- 230000003993 interaction Effects 0.000 description 12
- 210000004247 hand Anatomy 0.000 description 11
- 230000000694 effects Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000004141 dimensional analysis Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000007789 sealing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种手部三维建模的方法，具体包括手部检测；特征生成；手部三维重建三个步骤。该方法通过RGB图像实现手部三维重建，不需要使用手部的多视图图像，并利用深度学习技术实现从二维图像到三维手部模型的映射，替代了传统的几何方法和复杂的专业软件构建手部，通过深度学习的方法来提取特征，而不是利用几何线条去构建，采用目前公开的数据和一些合成的数据来进行训练，利用深度学习实现三维重建能达到建模快，精度高。
Description
技术领域
本发明涉及计算机视觉和计算机仿真领域，具体是指基于RGB图像的手部三维重建方法。
背景技术
随着虚拟现实、增强现实等三维技术的出现，人机交互的应用场景的要求在不断变化，它要求场景更加生动、人物角色也更加逼真，一切朝着复杂、逼真和高精度的要求在发展。与此同时，听觉交互和视觉交互等人机交互的方式已经不能够满足业界的需求。手是人类与环境互动的最自然的方式之一，这使得手在三维场景的人机交互中也起到同样重要的作用，而手部三维重建是实现手在三维场景下的人机交互这一应用下的基础。手部三维重建是指利用获取的手部空间信息，还原出手在三维场景下的三维模型。手部三维重建的目的是通过获取到的数据，恢复在三维场景下手的形状、姿态和精细的表面，以此来完成手的重建。
随着深度摄像机的出现，基于RGB-D图像的手部三维重建相继发展，但因为设备的价格昂贵，深度图像数据难以获得。由于RGB相机比深度摄像机应用广泛，RGB图像数据容易获得，所以采用RGB图像进行手部三维重建更方便。目前的人机交互的方式在一些领域已经取得了研究成果，比如语音识别、人脸识别、指纹识别、人体姿态识别等，这些人机交互的方式已经发展的比较成熟了。面部表情和言语在交流中起着重要的作用，重要的非言语信息也通过身体动作进行交流，特别是手和手指的动作，以强调我们的言语，阐明我们的思想，传达情感。手作为非语言的交流方式，手在人机交互中也起到了不可或缺的作用。当人们在无法用言语表达的情况下，通过手部动作就可以理解对方意图，从而完成交流。在人与物体进行接触的时候，手与物体的交互就能够达到交流。然而，随着虚拟现实、增强现实等技术的出现，也需要我们建模手，尤其在三维场景下，手的建模需要达到逼真的效果，以实现与虚拟环境的直观和身临其境的交互。一直以来，有关手的重建一直也在研究当中，但由于手空间的高维度、姿势和形状的变化、遮挡和自我封闭等的多样性和复杂性，手部三维重建一直是计算机图形学和计算机视觉的重要研究方向。
随着商业相机的出现，RGB-D图像也被用于手部三维重建的研究。RGB-D图像是深度图像和RGB图像组成的。借助深度照相机，一个简单的想法是将一个三维手形拟合到其相应的深度图中，并迭代优化它。近年来也有许多方法用于RGB-D图像完成手部三维重建：（1）利用一种基于二维CNN的方法，可以直接从二维深度图估算形状。
（2）使用深度图的三维体像素化网格来估计三维关节热图的作品，从而避免了透视失真。然而，通过直接回归网格顶点的三维热图来扩展形状估计的工作在实践中是不可行的。
（3）将手部深度图像编码为三维体，使用三维CNN来推断手部的三维姿态。该方法将稀疏点云转换为密集的体积表示，以实现有效的三维卷积。但这种转换改变了数据的性质，使数据变得不必要的庞,而且分辨率处于一个低分辨率的状态，还可能会丢失手的细节。
除了以上基于CNN的方法在深度图像上的研究，也可以直接从深度图像中估算出三维关节位置。然而，这些方法的主要弱点是预测是粗糙的，没有明确考虑运动学和几何约束。再者RGB-D图像不易获取，因此RGB图像成为了研究的对象。
由于RGB图像容易获取，因此目前都开始往RGB图像进行转变。但由于RGB图像缺乏深度信息，会造成透视的模糊性。目前研究提出了一种基于弱监督回归的方法，从单个RGB图像中直接估计手的形状和姿势。此外，他们的方法还可以直接从估计的手形估计三维姿态。然而，在训练数据集中，它需要构造具有相应手形的手关键点，这在很大程度上取决于热图估计的质量。除了透视的模糊性以外，另一个挑战是缺乏高质量的带注释的3D手姿数据。为了解决这一问题，目前研究开始使用合成数据来进行研究，但基于合成数据训练的网络不能很好地推广到真实世界的图像。虽然目前有很多方法在对于RGB图像缺乏深度信息而带来的模糊性的问题作出了很多工作，但效果依然不是很理想。由于手的灵巧性、对称性和自相似性，以及由于闭塞、不同的照明条件和缺乏准确的比例估计而造成的困难，仅从单目RGB图像估计出完整的3D手姿势是一项更具挑战性的任务。因此，对于数据集选择探究的方向来看，从RGB图像进行手部三维重建的研究具有广阔的发展空间。
手部检测算法目前也出来了一些研究，有的是基于CNN的，基于R-CNN的，还有基于Mask-CNN的等手部检测算法实现在简单的环境下完成检测。在受限制的环境中（通常只有单手和图像中的简单背景），手部也可以很容易地被检测到或假设已经被裁剪。由于在彩色图像中灵巧的人类手（例如，不同的手形、肤色、照明、方向和比例等）的复杂外观多样性，在无限制的环境下（多手和复杂的背景）下检测手仍然是一项具有挑战性的任务。
近年来的手部三维重建技术不仅有手部关键点检测、手部姿态估计，还有最近出现的三维手部网格重建，这是研究的新的突破。现有的基于RGB图像的手部三维分析方法大多集中在手部关键点或姿态的估计上，无法捕捉手部三维形状的几何细节。传统的手部三维重建是基于几何线条和3Dmax等专业软件完成建模，这些传统的方法计算量大，复杂度高且需要高超的专业知识，速度慢。因此，利用深度学习的方法进行研究成为了发展趋势。与此同时，相比手部姿态估计，三维手部网格重建极少有人在研究，三维手部网格重建是一个最新的研究领域，因此三维手部网格重建值得进行深入的研究。
综上所述，手部三维重建目前主要是基于RGB-D图像和基于RGB图像的研究。其中，以RGB-D图像为基础的研究精确度高但成本昂贵且受环境约束，实用性不强。而以RGB图像为基础的研究数据容易获取，实用价值高。因此，采用RGB图像进行手部三维重建是具有一定的可行性的价值。
发明内容
针对上述情况，为克服现有技术的缺陷，本发明提供了一种以RGB图像作为数据集基础，仅采用单张RGB照片就可实现三维手部重建的基于RGB图像的手部三维重建方法。
本发明的目的在于提供一种对手部三维重建的仿真方法。本发明具体实现如下所示：（1）数据集的使用。利用高保真三维手数据集和FreiHand数据集进行手部重建，该数据集可以重建高保真的手和提高单目手部姿态估计任务的泛化性能，大规模的纹理数据也为获得高精度孔尺度的手表面提供了更多的可能性。后期按照需求还将创建一个新的合成数据集，让本研究达到更高的准确。
（2） 对输入的一张RGB图像进行手部检测，定位出图像中的手并裁剪出手部区域。提出了一种新型的手部检测算法，将在Faster R-CNN和VAE的基础上引入了GAN，通过共享区域建议层中提取的特征，检测手部区域并并行重建手部外观，并以端到端的方式训练所提出的模型。因为引入GAN可以进一步提高检测精度，生成更加真实的手。还提出一种并行神经网络网络，通过手部检测和人体姿态估计位置的融合来区别左手和右手。
（3）将裁剪出的手作为二维姿态估计网络的输入，将提出2.5DNet网络来预测二维高斯类热图，每个关键点都有对应的热图，热图上的每个像素值表示关键点在该二维位置的置信度。热图上输出是21个关键点，对应于20个手关键点（每根手指四个）和一个手腕点的估计，从而完成二维姿态估计。对于网络结构，对CNN网络进行改进形成了2.5DNet网络,并做了一些细微的修改，以便完成二维姿态估计。将利用2.5DNet网络提取到的特征和2.5D热图放入到ResNet-50网络中，在ResNet-50网络中生成高阶特征。
（4） 将高阶特征输入到图卷积网络（Graph CNN）中，通过学习数据集中的注释数据，直接重建手部网格顶点的坐标，从而实现三维手部网格重建，还可以利用重建的手部网格估计三维手部姿态。
采用上述方案本发明取得的有益效果如下：
（1）本方案基于RGB图像的手部三维重建方法通过单张RGB照片即可实现手部三维重建，不需再使用多视图图片，数据集容易获取且处理方便。
（2）本方案利用深度学习技术实现从二维图片到三维手部重建的映射，替代了传统的简单几何方法构建手部轮廓和专业软件绘制手部形状，避免了高强度处理和低精准度。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1为手部三维重建的方法的简要架构图；
图2为手部三维重建的方法的总体架构图；
图3为手部检测架构图；
图4为手部检测算法的模型；
图5为并行神经网络的架构图；
图6为二维手部姿态估计的架构图；
图7为手部三维重建效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例；基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提出一种基于RGB图像的手部三维重建方法。首先，使用选择好的数据集进行训练网络形成模型。之后，输入一张RGB图像进行手部检测，通过提出的新型手部检测算法，将在Faster R-CNN和VAE的基础上引入了GAN，通过共享区域建议层中提取的特征，检测手部区域并并行重建手部外观，并以端到端的方式训练所提出的模型。然后，根据裁剪出的手部图片放入到改进的2.5D网络里生成2.5D热图，同时生成低级特征。再利用2.5DNet网络提取到的特征和2.5D热图放入到ResNet-50网络中，在ResNet-50网络中生成高阶特征。最后用将高阶特征输入到图卷积网络（Graph CNN）中，通过学习数据集中的注释数据，直接重建手部网格顶点的坐标，从而实现三维手部网格重建，还可以利用重建的手部网格估计三维手部姿态。
如图1～7所示，本发明基于RGB图像的手部三维重建方法，具体包括下列步骤：
（1）手部三维重建的方法的总体架构
针对现有技术的情况，本发明提出了基于RGB图像的手部三维重建方法。本研究的方法由三个模块组成,分别是手部检测模块、特征生成模块和三维手部重建模块。手部检测模块为了完成手部区域检测；特征生成模块是为了生成高阶特征；三维手部重建模块是利用图卷积网络生成三维手部网格。同时还可以利用三维手部网格预测三维手部姿态。本发明基于RGB图像的手部三维重建方法的简要架构图和总体架构图见图1和图2。
（2）数据集的使用
通过对STB、RHD、Dexter+Object、SHP等公共数据集上进行手部三维重建的研究，发现这些数据集是仍然缺乏一些信息，比如二维注释信息，手部形状信息等，这些因素造成了手部三维重建仍然达不到准确的效果。高保真三维手数据集和FreiHAND数据集是一种新型的数据集且未应用到手部三维重建中，故本研究利用这两种数据集来完成手部三维重建。后期会按照需求自己创建一个数据集，弥补这两个数据集完成的效果。
高保真三维手数据集是一种新型的多模手数据集，包括多视图彩色图像、二维手部关键点、三维手部骨骼关节和注册的手部网格模型并进行了注释。
Freihand数据集具有迄今为止可用的真实图像的手部姿势和形状标签。该数据集能够从单个图像中提高三维手部姿势估计任务的泛化性能，以及单目手部形状估计的监督学习。
（3）手部检测算法
对于手部检测算法，通过研究和对比，提出新型的手部检测算法，即将在FasterR-CNN和VAE的基础上加上GAN进行手部检测。通过共享区域建议层中提取的特征，检测手部区域并并行重建手部外观，并以端到端的方式训练所提出的模型。还提出一种并行神经网络网络，通过手部检测和人体姿态估计位置的融合来区别左手和右手。
I.本模块提出的第一个网络-在Faster R-CNN和VAE的基础上加上GAN进行手部检测
Faster R-CNN可以快速的进行检测，VAE 是分布显式建模，是在编码器上进行训练，在解码器上生成，可以提高速度，但是生成的图片会模糊。而GAN是分布式隐式建模，使用了对抗网络，可以提高检测精度。则在Faster R-CNN和VAE的基础上加入GAN会检测出精准的手部，经改进的网络也可以进行多手检测。手部检测架构图如图3所示和手部检测算法的模型如图4所示。
a. 手部检测架构
首先，计算共享特征来提取整个输入图像的特征图；然后，它们被送入区域建议网络（RPN），以生成可能的区域建议，即感兴趣的区域（ROI）。最后，利用ROI的特征图对相应的标签（手/背景）进行分类，细化检测手的位置，同时重建手的外观。
b. 手部检测算法模型
该模型由检测分支和重构分支两部分组成。在检测模块，利用Faster R-CNN作为主干进行是检测。首先，将输入图像送入共享卷积神经网络（CNN）层，计算共享特征。然后，应用由3×3个卷积核组成的RPN来生成区域建议区域，并将区域建议网络（RPN）生成的区域提案送入到ROIing poling池里形成ROI特征，并将区域建议的特征汇聚成相同的形状。由于区域建议生成的大小不一样，充分利用连接层（ROI特性映射到两个向量。一个向量是背景和手的最大概率（二维），另一个向量是边界框回归偏移（四维）。在重构模块，首先，计算出感兴趣区域（ROI）特征的向量来产生高斯分布噪声，然后进行编码，其次在解码器中利用去卷积层和sigmoid层进行工作。以上操作完成检测手部并重建手部外观。此外，还将引入一个鉴别器来改善重建图像。将鉴别器引入到重构分支中，使其学习到更多的手形相似特征。通过使用GAN，重建的手的局部细节往往更精细和尖锐,相比VAE，GAN生成的手更加清晰。
II.本模块提出的第二个网络-并行神经网络
本发明提出一种将手的特性与人体的特性相结合的并行深层神经网络。该方法能有效地提高手部检测的准确性和左右手的区分能力。并行神经网络的架构图如图5所示。
该并行神经网络分为两个子网，一个是手部检测子网，另一个是人体姿态估计子网。本研究将利用上述提出的手部检测算法作为手部检测子网，然后提出人体姿态估计子网。利用姿态估计方法和人体FK树对左右手的位置进行估计。最后，设计一种有效的融合方法。该方法能有效地融合两个子网络的输出，实现对人双手的识别和定位。
（4）2.5DNet网络设计
本发明提出了一种新颖的2.5D姿态表示方法，并给出了一种由2.5D重构二维姿态的解决方案。2.5D表示由输入图像中手部关键点的二维坐标和每个关键点相对于根（手掌）的比例标准化深度组成。由于2.5D姿态表示需要预测二维姿态和深度值，本研究提出一种新的热图表示，该热图表示称之为2.5D热图。它包括用于二维关键点定位的二维热图和用于深度预测的每个关键点的深度图。本研究设计改进的CNN架构，使2.5D热图不必手工设计，而是以一种潜在的方式学***移不变，具有像素精度定位关键点的潜力。对于改进的CNN架构，称为2.5DNet。二维姿态估计的架构图如图6所示。
输入一张图像，根据提出的一个CNN架构产生了包含潜在的二维热图和潜在的深度图。潜在二维热图通过Softmax归一化转换为概率图。然后，通过一个softargmax操作以可微的方式将2.5d热图转换为2.5d坐标。在L2损失函数的辅助下，从而估计出二维手部姿态。对于CNN网络架构，该CNN架构包含了卷积层和编码器-解码器网络。
（5）重建三维手部网格
在完成上面各部分模块的设计后，将2.5DNet网络提取的特征送入到ResNet-50中，以生成高阶特征。然后，把生成的高阶特征放入到图神经网络，通过学习数据集中的注释数据，直接重建手部网格顶点的坐标，从而实现三维手部网格重建，还可以利用重建的手部网格估计三维手部姿态。最终实现的手部三维重建的效果图将和以下的效果图类似见图7所示。
Claims (5)
1.基于RGB图像的手部三维重建方法，其特征在于，具体包括下列步骤：
(1)数据集选择的探索研究：本发明选择的是利用RGB图像实现手部三维重建，通过对RGB图像进行训练，以便更好的获取手部特征，数据集是真实的数据集，还会有一些合成的数据集，以便达到精确的训练结果；
(2)手部检测：输入RGB图像，利用深度学习的手部检测算法去检测出图片中手部的位置，还会进行检测出单手、双手的操作，同时进行左右手的区分；
(3)特征生成：在完成手部检测的步骤时，本发明利用2.5D-Net神经网络生成2.5D热图，并提取低级特征，让二维关键点检测更加准确，以便生成更加精确的二维手部姿态估计，其次，把提取的低级特征放入到ResNet-50网络里来产生高级特征；
(4)手部三维重建：本发明利用图卷积神经网络实现手部三维重建，将生成的高级特征放入图卷积神经网络，在图卷积神经网络里估计手部网格的每个顶点坐标，将其以树的形式来存放，顶点坐标在图卷积神经网络里进行由粗糙到细化的图卷积操作，最后生成精确的手部三维网格来实现手部三维重建，本发明还可以利用生成的手部三维网格生成三维手部姿态估计。
2.根据权利要求1所述的基于RGB图像的手部三维重建方法，其特征在于，数据集的选择有真实的数据集，也有合成的数据集，数据集是RGB图像，而非RGB-D图像。
3.根据权利要求1所述的基于RGB图像的手部三维重建方法，其特征在于，利用深度学习的算法来完成手部检测。
4.根据权利要求1所述的基于RGB图像的手部三维重建方法，其特征在于，利用神经网络来完成手部特征提取，而非通过深度图像或关键点检测来完成手部特征提取。
5.根据权利要求1所述的基于RGB图像的手部三维重建方法，其特征在于，利用图卷积神经网络实现手部三维重建，而非二维姿态估计或三维姿态估计生成手部三维重建。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111030947.3A CN113763536A (zh) | 2021-09-03 | 2021-09-03 | 一种基于rgb图像的三维重建方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111030947.3A CN113763536A (zh) | 2021-09-03 | 2021-09-03 | 一种基于rgb图像的三维重建方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113763536A true CN113763536A (zh) | 2021-12-07 |
Family
ID=78792800
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111030947.3A Pending CN113763536A (zh) | 2021-09-03 | 2021-09-03 | 一种基于rgb图像的三维重建方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113763536A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333635A (zh) * | 2023-10-23 | 2024-01-02 | 中国传媒大学 | 一种基于单幅rgb图像的交互双手三维重建方法及*** |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978838A (zh) * | 2019-03-08 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
| CN110298916A (zh) * | 2019-06-21 | 2019-10-01 | 湖南大学 | 一种基于合成深度数据的三维人体重建方法 |
| CN110322429A (zh) * | 2019-05-09 | 2019-10-11 | 中南大学 | 一种基于深度学习的蜂窝复合材料缺陷分类方法 |
| CN112435440A (zh) * | 2020-10-30 | 2021-03-02 | 成都蓉众和智能科技有限公司 | 一种基于物联网平台的非接触式室内人员跌倒识别方法 |
| CN112489198A (zh) * | 2020-11-30 | 2021-03-12 | 江苏科技大学 | 一种基于对抗学习的三维重建***及其方法 |
-
2021
- 2021-09-03 CN CN202111030947.3A patent/CN113763536A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109978838A (zh) * | 2019-03-08 | 2019-07-05 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
| CN110458813A (zh) * | 2019-03-08 | 2019-11-15 | 腾讯科技（深圳）有限公司 | 图像区域定位方法、装置和医学图像处理设备 |
| CN110322429A (zh) * | 2019-05-09 | 2019-10-11 | 中南大学 | 一种基于深度学习的蜂窝复合材料缺陷分类方法 |
| CN110298916A (zh) * | 2019-06-21 | 2019-10-01 | 湖南大学 | 一种基于合成深度数据的三维人体重建方法 |
| CN112435440A (zh) * | 2020-10-30 | 2021-03-02 | 成都蓉众和智能科技有限公司 | 一种基于物联网平台的非接触式室内人员跌倒识别方法 |
| CN112489198A (zh) * | 2020-11-30 | 2021-03-12 | 江苏科技大学 | 一种基于对抗学习的三维重建***及其方法 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117333635A (zh) * | 2023-10-23 | 2024-01-02 | 中国传媒大学 | 一种基于单幅rgb图像的交互双手三维重建方法及*** |
| CN117333635B (zh) * | 2023-10-23 | 2024-04-26 | 中国传媒大学 | 一种基于单幅rgb图像的交互双手三维重建方法及*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109636831B (zh) | 一种估计三维人体姿态及手部信息的方法 | |
| Romero et al. | Embodied hands: Modeling and capturing hands and bodies together | |
| Guo et al. | Ad-nerf: Audio driven neural radiance fields for talking head synthesis | |
| CN111028330B (zh) | 三维表情基的生成方法、装置、设备及存储介质 | |
| Zeng et al. | 3d human mesh regression with dense correspondence | |
| CN111243093B (zh) | 三维人脸网格的生成方法、装置、设备及存储介质 | |
| CN108921926A (zh) | 一种基于单张图像的端到端三维人脸重建方法 | |
| CN104331164B (zh) | 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法 | |
| WO2021063271A1 (zh) | 人体模型重建方法、重建***及存储介质 | |
| Liu et al. | Facial expression recognition using pose-guided face alignment and discriminative features based on deep learning | |
| CN113421328B (zh) | 一种三维人体虚拟化重建方法及装置 | |
| CN113628348A (zh) | 一种确定三维场景中视点路径的方法及设备 | |
| CN115951784B (zh) | 一种基于双神经辐射场的穿衣人体运动捕捉和生成方法 | |
| CN117496072B (zh) | 一种三维数字人生成和交互方法及*** | |
| CN116385667B (zh) | 三维模型的重建方法、纹理重构模型的训练方法以及装置 | |
| CN111462274A (zh) | 一种基于smpl模型的人体图像合成方法及*** | |
| CN111640172A (zh) | 一种基于生成对抗网络的姿态迁移方法 | |
| CN111402403B (zh) | 高精度三维人脸重建方法 | |
| Liu et al. | Hand pose estimation from rgb images based on deep learning: A survey | |
| CN117218246A (zh) | 图像生成模型的训练方法、装置、电子设备及存储介质 | |
| CN117011493B (zh) | 基于符号距离函数表示的三维人脸重建方法、装置及设备 | |
| CN113763536A (zh) | 一种基于rgb图像的三维重建方法 | |
| CN104484034B (zh) | 一种基于手势识别的手势运动基元过渡帧定位方法 | |
| Khan et al. | Towards monocular neural facial depth estimation: Past, present, and future | |
| Waldow et al. | Deep Neural Labeling: Hybrid Hand Pose Estimation Using Unlabeled Motion Capture Data With Color Gloves in Context of German Sign Language |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20211207 |