CN110443884B - 手部运动重建方法和装置 - Google Patents

手部运动重建方法和装置 Download PDF

Info

Publication number
CN110443884B
CN110443884B CN201910646553.7A CN201910646553A CN110443884B CN 110443884 B CN110443884 B CN 110443884B CN 201910646553 A CN201910646553 A CN 201910646553A CN 110443884 B CN110443884 B CN 110443884B
Authority
CN
China
Prior art keywords
hand
depth
depth data
information
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910646553.7A
Other languages
English (en)
Other versions
CN110443884A (zh
Inventor
刘烨斌
李梦成
戴琼海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Xinchangyuan Technology Co ltd
Original Assignee
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tsinghua University filed Critical Tsinghua University
Priority to CN201910646553.7A priority Critical patent/CN110443884B/zh
Publication of CN110443884A publication Critical patent/CN110443884A/zh
Application granted granted Critical
Publication of CN110443884B publication Critical patent/CN110443884B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明提出一种手部运动重建方法和装置，其中，方法包括：获取手部深度数据集，其中，手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标；控制预设手部模型分别根据手部深度数据集中每个手部深度数据调整姿态，获取姿态调整后的拟合手部模型的姿态参数；根据与每个手部深度数据对应的拟合手部模型的姿态参数高斯分布函数，以便于根据高斯分布函数进行手部运动重建。本发明解决了现有技术中人手的活动较为灵活复杂，与物体交互过程中常常伴随着严重遮挡的技术问题，通过同构单视点的RGB‑D数据，可以获得更加精确的三维重建结果，在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。

Description

手部运动重建方法和装置
技术领域
本发明涉及计算机视觉领域技术领域，尤其涉及一种手部运动重建方法和装置。
背景技术
在三维动态重建领域中，人手的三维重建是一个十分热门的问题。由于人手的动作复杂灵活且常伴有自遮挡的问题，精确的手部动态重建具有很大的挑战性。而手作为人与外界物理接触的主要途径，手部重建在虚拟现实，人机交互等领域有着较大的应用。
通常，人与外界无时无刻不在进行着各种的交互，其中最为频繁的就是手部与外界的物理交互。如果能够较好地重建手部与外界的交互过程，对与理解人与外界的交互的深层含义有着较大的帮助，在工业上，也对于人工智能、计算机交互、VR游戏等领域有着较大的作用。但是人手的活动较为灵活复杂，与物体交互过程中又常常伴随着非常严重的遮挡问题，如何从单视点重建手部与外界的交互是一个具有挑战性的问题。
发明内容
本发明旨在至少在一定程度上解决相关技术中的技术问题之一。
为此，本发明的第一个目的在于提出一种手部运动重建方法，可以获得更加精确的三维重建结果，在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。
本发明的第二个目的在于提出一种手部运动重建装置。
本发明的第三个目的在于提出一种计算机设备。
本发明的第四个目的在于提出一种非临时性计算机可读存储介质。
为达上述目的，本发明第一方面实施例提出了一种手部运动重建方法，包括：获取手部深度数据集，其中，所述手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标；控制预设手部模型分别根据所述手部深度数据集中每个手部深度数据调整姿态，获取姿态调整后的拟合手部模型的姿态参数；根据与所述每个手部深度数据对应的所述拟合手部模型的姿态参数高斯分布函数，以便于根据所述高斯分布函数进行手部运动重建。
本发明实施例的手部运动重建方法，解决了现有技术中人手的活动较为灵活复杂，与物体交互过程中常常伴随着严重遮挡的技术问题，通过同构单视点的RGB-D数据，可以获得更加精确的三维重建结果，在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。
本发明的实施例中，所述控制预设手部模型分别根据所述手部深度数据集中每个手部深度数据调整姿态，获取姿态调整后的拟合手部模型的姿态参数，包括：获取所述手部深度数据集中满足预设条件的第一手部深度数据；根据点云匹配算法和所述第一手部深度数据中的手部深度信息，确定所述预设手部模型的第一姿态参数；通过梯度下降迭代算法和所述第一手部深度数据中的手部骨架坐标，构建所述第一姿态参数的回归矩阵；确定所述手部深度数据集中除所述第一手部深度数据之外的第二手部深度数据，根据所述回归矩阵和所述第二手部深度数据对应的手部骨架坐标计算所述预设手部模型的拟合骨架坐标；根据所述拟合骨架坐标计算所述预设手部模型的第二姿态参数。
本发明的实施例中，所述获取所述手部深度数据集中满足预设条件的第一手部深度数据，包括：确定所述每个手部深度数据对应的参考姿态参数；计算所述参考姿态参数与预设初始姿态参数的差值；确定小于预设阈值的差值对应的手部深度数据为所述第一手部深度数据。
本发明的实施例中，所述手部运动重建方法，还包括：基于预设的RGB-D相机获取用户手部与物体交互的连续多帧图像；根据所述连续多帧图像提取所述用户手部的第一彩色信息和第一深度信息，以及所述物体的第二彩色信息和第二深度信息；根据所述第二彩色信息和第二深度信息获取所述物体的运动状态信息；根据所述第一深度信息提取所述用户手部的第一关键点的深度信息；根据所述第一关键点的深度信息和所述高斯分布函数估算所述用户手部的第二关键点的深度信息；根据所述第一关键点的深度信息、所述第二关键点的深度信息、所述第一彩色信息和所述运动状态信息模拟所述物体与所述用户手部的交互动画。
本发明的实施例中，所述根据所述第一关键点的深度信息和所述高斯分布函数估算所述用户手部的第二关键点的深度信息，包括：根据所述第一关键点的深度信息和预设算法确定所述第二关键点的估算深度信息；根据所述高斯分布函数计算所述估算深度信息的置信度；检测所述置信度是否大于预设阈值，若不大于所述预设阈值，则修改所述估算深度信息，直至所述置信度大于所述预设阈值，将修改后的所述估算深度信息作为所述第二关键点的深度信息。
本发明的实施例中，在所述基于预设的RGB-D相机获取用户手部与物体交互的连续多帧图像之前，包括：获取所述RGB-D相机中RGB模组的内参和外参；获取所述RGB模组和所述RGB-D相机中深度模组同时拍摄的人体动作图像；根据预设函数和所述同时拍摄的人体动作图像修正所述内参和外参。
为达上述目的，本发明第二方面实施例提出了一种手部运动重建装置，包括：第一获取模块，用于获取手部深度数据集，其中，所述手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标；控制模块，用于控制预设手部模型分别根据所述手部深度数据集中每个手部深度数据调整姿态；第二获取模块，用于获取姿态调整后的拟合手部模型的姿态参数；重建模块，用于根据与所述每个手部深度数据对应的所述拟合手部模型的姿态参数高斯分布函数，以便于根据所述高斯分布函数进行手部运动重建。
本发明的实施例中，所述第二获取模块，包括：确定单元，用于根据点云匹配算法和所述第一手部深度数据中的手部深度信息，确定所述预设手部模型的第一姿态参数；计算单元，用于根据所述拟合骨架坐标计算所述预设手部模型的第二姿态参数。
本发明实施例手部运动重建装置，通过第一获取模块、控制模块、第二获取模块和重建模块，解决了现有技术中人手的活动较为灵活复杂，与物体交互过程中常常伴随着严重遮挡的技术问题，通过同构单视点的RGB-D数据，可以获得更加精确的三维重建结果，在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。
为达上述目的，本发明第三方面实施例提出了一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如上述实施例第一方面所述的手部运动重建方法。
为了实现上述目的，本发明第四方面实施例提出了一种非临时性计算机可读存储介质，所述计算机程序被处理器执行时实现如上述实施例第一方面所述的手部运动重建方法。
本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明实施例所提供的一种手部运动重建方法的流程示意图；
图2为本发明实施例所提供的另一种手部运动重建方法的流程示意图；
图3为本发明实施例提供的一种手部运动重建装置的结构示意图；
图4为本发明实施例提供的另一种手部运动重建装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
下面参考附图描述本发明实施例的手部运动重建方法和装置。
图1为本发明实施例所提供的一种手部运动重建方法的流程示意图。
针对上述实施例，本发明实施例提供了一种手部运动重建方法，如图1所示，该手部运动重建方法包括以下步骤：
步骤101，获取手部深度数据集，其中，手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标。
具体的，获取已经公开的手部深度数据集，这些数据集的定义不同，但是每个手部数据中都包含有大量深度图片信息及其对应的手部骨架坐标，可以是人手的深度图以及相匹配的手部骨架三维坐标标记，为了统一数据，需要将MANO手部模型拟合到各种数据集上。
步骤102，控制预设手部模型分别根据手部深度数据集中每个手部深度数据调整姿态，获取姿态调整后的拟合手部模型的姿态参数。
具体的，控制预设手部模型分别根据手部深度数据集中每个手部深度数据调整姿态，其中姿态可以包括手指的长短、粗细等，获取姿态调整后的拟合手部模型的姿态参数，其中姿态参数可以是每个手指关节的旋转角度、倾斜方向等，具体拟合的过程是：获取手部深度数据集中满足预设条件的第一手部深度数据；根据点云匹配算法和第一手部深度数据中的手部深度信息，确定预设手部模型的第一姿态参数；通过梯度下降迭代算法和第一手部深度数据中的手部骨架坐标，构建第一姿态参数的回归矩阵；确定手部深度数据集中除第一手部深度数据之外的第二手部深度数据，根据回归矩阵和第二手部深度数据对应的手部骨架坐标计算预设手部模型的拟合骨架坐标；根据拟合骨架坐标计算预设手部模型的第二姿态参数。
进一步地，在获取手部深度数据集中满足预设条件的第一手部深度数据中，首先要确定每个手部深度数据对应的参考姿态参数，其中需要判断深度数据本身是否数据量较大，比如像素点的数量，像素点之间的深度平滑度，其次计算参考姿态参数与预设初始姿态参数的差值，然后确定小于预设阈值的差值对应的手部深度数据为第一手部深度数据。
可以理解，作为本发明实施例一种可能实现的方式，首先选取满足预设条件的第一手部深度数据即动作简单的几组数据，通过ICP点云匹配方法将MANO手部模型拟合到深度上；其次通过少数几组数据间学习两种骨架的回归矩阵，由于数据量小，直接求解可能欠定，但是由于不同的手部骨架定义间存在一些一致性，可以加入1范数约束，并且通过梯度下降迭代算法，可以估计MANO模型的手部骨架与数据集的手部骨架之间的回归矩阵，最后通过回归矩阵求出剩下数据的MANO定义下的骨架，并结合深度图像求出姿势参数。
步骤103，根据与每个手部深度数据对应的拟合手部模型的姿态参数高斯分布函数，以便于根据高斯分布函数进行手部运动重建。
具体的，根据与每个手部深度数据对应的拟合手部模型的姿态参数高斯分布函数，可以利用统计方法对手部模型的姿态参数进行分析，得出姿态参数的混合高斯分布，作为人手的姿态先验分布，以便于手部运动重建。
获得每个手部深度数据对应的拟合手部模型的姿态参数高斯分布函数之后，根据高斯分布函数进行手部运动重建，具体而言，本发明实施例提供一种手部运动重建方法，如图2所示，该方法包括如下步骤：
步骤201，基于预设的RGB-D相机获取用户手部与物体交互的连续多帧图像。
具体的，基于预设的RGB-D相机，在标定完成后，采集人手与物体的交互的连续多帧图像，本示例中，可以是RGB-D序列。
需要说明的是，基于预设的RGB-D相机获取用户手部与物体交互的连续多帧图像之前，需要获取RGB-D相机中RGB模组的内参和外参；获取RGB模组和RGB-D相机中深度模组同时拍摄的人体动作图像；根据预设函数和同时拍摄的人体动作图像修正内参和外参。
具体而言，深度相机的彩色(RGB)图片与深度(depth)图片存在一定的视角差异，需要使用棋盘格法等方法进行相机标定。由于Kinect相机具有人体识别的功能，可以利用来进行相机标定：
设rgb相机的内参如下公式(1)所示和外参如下公式(2)所示：
Figure BDA0002133780640000051
Figure BDA0002133780640000052
从三维空间到rgb图像二维平面的投影矩阵为公式(3)所示：
Figure BDA0002133780640000053
深度相机与彩色相机同步拍摄人体动作，利用Kinect相机的SDK中自带的map函数，可以获得RGB图片与Depth图片的对应关系，因此可以通过这个关系标定相机。
步骤202，根据连续多帧图像提取用户手部的第一彩色信息和第一深度信息，以及物体的第二彩色信息和第二深度信息。
具体的，根据RGB-D序列提取用户手部的图像信息和深度信息，以及物体的图像信息和深度信息，其中获取物体的不同视点的RGB-D图片，利用现有的多视点重建算法，例如计算机视觉开源库OpenCv 4.0自带的kinectfusion算法或者商业软件AgisoftMetashapePro等可以重建出物体的三维模型。
步骤203，根据第二彩色信息和第二深度信息获取物体的运动状态信息。
具体的，根据物体的图像信息和深度信息，通过深度学习的方法，从RGB-D数据中识别物体的运动状态。其中，物体的运动状态信息包括物体的运动位置、物体的形状等。
步骤204，根据第一深度信息提取用户手部的第一关键点的深度信息。
具体的，根据用户手部的深度信息，通过深度学习如OpenPose等方法，从RGB-D数据中识别手部的已经采集到的或无遮挡的稀疏关键点的深度信息。
步骤205，根据第一关键点的深度信息和高斯分布函数估算用户手部的第二关键点的深度信息。
具体的，根据第一关键点的深度信息和预设算法确定第二关键点的估算深度信息，根据高斯分布函数计算估算深度信息的置信度，检测置信度是否大于预设阈值，若不大于预设阈值，则修改估算深度信息，直至置信度大于预设阈值，将修改后的估算深度信息作为第二关键点的深度信息。本示例中，第二关键点可以是没有采集到或被遮挡的点，由于没有采集到或被遮挡的点是通过高斯函数估算得到的，因此需要判断置信度，通过修改估算深度信息，直至置信度大于预设阈值时，将估算深度信息作为被遮挡点的深度信息。
步骤206，根据第一关键点的深度信息、第二关键点的深度信息、第一彩色信息和运动状态信息模拟物体与用户手部的交互动画。
具体的，根据采集到的点的深度信息和通过预设算法估算出被遮挡的点的深度信息、用户手部的图像信息以及物体的运动状态模拟物体与用户手部的交互动画。
本发明实施例手部运动重建方法，解决了现有技术中人手的活动较为灵活复杂，与物体交互过程中常常伴随着严重遮挡的技术问题，通过同构单视点的RGB-D数据，可以获得更加精确的三维重建结果，在较简单的硬件条件下可以获得较好的物体与手部交互重建结果。
为了实现上述实施例，本发明还提出一种手部运动重建装置。
图3为本发明实施例提供的一种手部运动重建装置的结构示意图。
如图3所示，该手部运动重建装置包括：第一获取模块10、控制模块20、第二获取模块30和重建模块40，其中，第一获取模块10，用于获取手部深度数据集，其中，手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标，接着控制模块20，控制预设手部模型分别根据手部深度数据集中每个手部深度数据调整姿态，然后第二获取模块30，获取姿态调整后的拟合手部模型的姿态参数；其中，如图4所示，在图3的基础上，还包括：确定单元31，用于根据点云匹配算法和第一手部深度数据中的手部深度信息，确定预设手部模型的第一姿态参数；计算单元32，用于根据拟合骨架坐标计算预设手部模型的第二姿态参数，最后重建模块40，根据与每个手部深度数据对应的拟合手部模型的姿态参数高斯分布函数，以便于根据高斯分布函数进行手部运动重建。
需要说明的是，前述对手部运动重建方法实施例的解释说明也适用于该实施例的手部运动重建装置，此处不再赘述。
为了实现上述实施例，本发明还提出一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时，实现如上述实施例所描述的手部运动重建方法。
为了实现上述实施例，本发明还提出一种非临时性计算机可读存储介质，计算机程序被处理器执行时实现如上述实施例所描述的手部运动重建方法。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行***、装置或设备(如基于计算机的***、包括处理器的***或其他可以从指令执行***、装置或设备取指令并执行指令的***)使用，或结合这些指令执行***、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行***、装置或设备或结合这些指令执行***、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式光盘只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行***执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (6)

1.一种手部运动重建方法，其特征在于，包括以下步骤：
获取手部深度数据集，其中，所述手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标；
控制预设手部模型分别根据所述手部深度数据集中每个手部深度数据调整姿态，获取姿态调整后的拟合手部模型的姿态参数；
根据与所述每个手部深度数据对应的所述拟合手部模型的姿态参数高斯分布函数，以便于根据所述高斯分布函数进行手部运动重建，其中，所述控制预设手部模型分别根据所述手部深度数据集中每个手部深度数据调整姿态，获取姿态调整后的拟合手部模型的姿态参数，包括：
获取所述手部深度数据集中每个手部深度数据对应的参考姿态参数；
计算所述参考姿态参数与预设初始姿态参数的差值，然后确定小于预设阈值的差值对应的手部深度数据为第一手部深度数据；
根据点云匹配算法和所述第一手部深度数据中的手部深度信息，确定所述预设手部模型的第一姿态参数；
通过梯度下降迭代算法和所述第一手部深度数据中的手部骨架坐标，构建所述第一姿态参数的回归矩阵；
确定所述手部深度数据集中除所述第一手部深度数据之外的第二手部深度数据，根据所述回归矩阵和所述第二手部深度数据对应的手部骨架坐标计算所述预设手部模型的拟合骨架坐标；
根据所述拟合骨架坐标计算所述预设手部模型的第二姿态参数；
基于预设的RGB-D相机获取用户手部与物体交互的连续多帧图像；
根据所述连续多帧图像提取所述用户手部的第一彩色信息和第一深度信息，以及所述物体的第二彩色信息和第二深度信息；
根据所述第二彩色信息和第二深度信息获取所述物体的运动状态信息；
根据所述第一深度信息提取所述用户手部的第一关键点的深度信息；
根据所述第一关键点的深度信息和所述高斯分布函数估算所述用户手部的第二关键点的深度信息；
根据所述第一关键点的深度信息、所述第二关键点的深度信息、所述第一彩色信息和所述运动状态信息模拟所述物体与所述用户手部的交互动画。
2.如权利要求1所述的方法，其特征在于，所述根据所述第一关键点的深度信息和所述高斯分布函数估算所述用户手部的第二关键点的深度信息，包括：
根据所述第一关键点的深度信息和预设算法确定所述第二关键点的估算深度信息；
根据所述高斯分布函数计算所述估算深度信息的置信度；
检测所述置信度是否大于预设阈值，若不大于所述预设阈值，则修改所述估算深度信息，直至所述置信度大于所述预设阈值，将修改后的所述估算深度信息作为所述第二关键点的深度信息。
3.如权利要求1所述的方法，其特征在于，在所述基于预设的RGB-D相机获取用户手部与物体交互的连续多帧图像之前，包括：
获取所述RGB-D相机中RGB模组的内参和外参；
获取所述RGB模组和所述RGB-D相机中深度模组同时拍摄的人体动作图像；
根据预设函数和所述同时拍摄的人体动作图像修正所述内参和外参。
4.一种手部运动重建装置，其特征在于，所述装置包括：
第一获取模块，用于获取手部深度数据集，其中，所述手部深度数据集中的每个手部深度数据中包含手部深度图片信息及其对应的手部骨架坐标；
控制模块，用于控制预设手部模型分别根据所述手部深度数据集中每个手部深度数据调整姿态；
第二获取模块，用于获取姿态调整后的拟合手部模型的姿态参数，其中，所述第二获取模块，具体用于：获取所述手部深度数据集中每个手部深度数据对应的参考姿态参数；
计算所述参考姿态参数与预设初始姿态参数的差值，然后确定小于预设阈值的差值对应的手部深度数据为第一手部深度数据；
根据点云匹配算法和所述第一手部深度数据中的手部深度信息，确定所述预设手部模型的第一姿态参数；
通过梯度下降迭代算法和所述第一手部深度数据中的手部骨架坐标，构建所述第一姿态参数的回归矩阵；
确定所述手部深度数据集中除所述第一手部深度数据之外的第二手部深度数据，根据所述回归矩阵和所述第二手部深度数据对应的手部骨架坐标计算所述预设手部模型的拟合骨架坐标；
根据所述拟合骨架坐标计算所述预设手部模型的第二姿态参数；
重建模块，用于根据与所述每个手部深度数据对应的所述拟合手部模型的姿态参数高斯分布函数，以便于根据所述高斯分布函数进行手部运动重建；
动画处理模块，用于基于预设的RGB-D相机获取用户手部与物体交互的连续多帧图像，根据所述连续多帧图像提取所述用户手部的第一彩色信息和第一深度信息，以及所述物体的第二彩色信息和第二深度信息，根据所述第二彩色信息和第二深度信息获取所述物体的运动状态信息，根据所述第一深度信息提取所述用户手部的第一关键点的深度信息，根据所述第一关键点的深度信息和所述高斯分布函数估算所述用户手部的第二关键点的深度信息，根据所述第一关键点的深度信息、所述第二关键点的深度信息、所述第一彩色信息和所述运动状态信息模拟所述物体与所述用户手部的交互动画。
5.一种计算机设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-3任一所述的手部运动重建方法。
6.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-3任一所述的手部运动重建方法。
CN201910646553.7A 2019-07-17 2019-07-17 手部运动重建方法和装置 Active CN110443884B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910646553.7A CN110443884B (zh) 2019-07-17 2019-07-17 手部运动重建方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910646553.7A CN110443884B (zh) 2019-07-17 2019-07-17 手部运动重建方法和装置

Publications (2)

Publication Number Publication Date
CN110443884A CN110443884A (zh) 2019-11-12
CN110443884B true CN110443884B (zh) 2021-07-30

Family

ID=68430670

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910646553.7A Active CN110443884B (zh) 2019-07-17 2019-07-17 手部运动重建方法和装置

Country Status (1)

Country Link
CN (1) CN110443884B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111290577B (zh) * 2020-01-22 2024-03-22 北京明略软件***有限公司 一种非接触式输入方法及装置
CN111429499B (zh) * 2020-02-24 2023-03-10 中山大学 一种基于单个深度相机的手部骨架高精度三维重建方法
CN111596767B (zh) * 2020-05-27 2023-05-30 广州市大湾区虚拟现实研究院 一种基于虚拟现实的姿态捕获方法和装置
CN113674395B (zh) * 2021-07-19 2023-04-18 广州紫为云科技有限公司 一种基于单目rgb摄像头3d手部轻量级实时捕捉重建***

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262783A (zh) * 2011-08-16 2011-11-30 清华大学 一种三维手势运动重建方法和***
CN108564618A (zh) * 2018-04-11 2018-09-21 清华大学 基于多体素块的手几何运动重建方法及装置
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10559119B2 (en) * 2017-08-31 2020-02-11 Intel Corporation Method and apparatus for natural hand visualization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102262783A (zh) * 2011-08-16 2011-11-30 清华大学 一种三维手势运动重建方法和***
CN108564618A (zh) * 2018-04-11 2018-09-21 清华大学 基于多体素块的手几何运动重建方法及装置
CN109636831A (zh) * 2018-12-19 2019-04-16 安徽大学 一种估计三维人体姿态及手部信息的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《3D Hand Shape and Pose from Images in the Wild》;Adnane Boukhayma等;《arXiv》;20190209;第1-12页 *
《Embodied Hands: Modeling and Capturing Hands and Bodies Together》;JAVIER ROMERO等;《ACM Transactions on Graphics》;20171130;第245:1-17页 *
《Single Image 3D Hand Reconstruction with Mesh Convolutions》;Dominik Kulon等;《arXiv》;20190513;第1-13页 *

Also Published As

Publication number Publication date
CN110443884A (zh) 2019-11-12

Similar Documents

Publication Publication Date Title
CN110443884B (zh) 手部运动重建方法和装置
CN109949899B (zh) 图像三维测量方法、电子设备、存储介质及程序产品
KR101560508B1 (ko) 3차원 이미지 모델 조정을 위한 방법 및 장치
US11494915B2 (en) Image processing system, image processing method, and program
KR102212209B1 (ko) 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체
CN111724904A (zh) 用于针对医学扫描的患者建模的多任务渐进式网络
US20170140574A1 (en) Image processing device and image processing method
JP7005622B2 (ja) 認識処理装置、認識処理方法及びプログラム
CN110648274B (zh) 鱼眼图像的生成方法及装置
Leizea et al. Real-time deformation, registration and tracking of solids based on physical simulation
CN107656611A (zh) 体感游戏实现方法及装置、终端设备
CN114450719A (zh) 人体模型重建方法、重建***及存储介质
CN108734772A (zh) 基于Kinect fusion的高精度深度图像获取方法
CN109407824B (zh) 人体模型的同步运动方法与装置
JP6770208B2 (ja) 情報処理装置
CN110430416B (zh) 自由视点图像生成方法和装置
CN115862124B (zh) 视线估计方法、装置、可读存储介质及电子设备
Teng et al. Image-based tree modeling from a few images with very narrow viewing range
CN114638921B (zh) 动作捕捉方法、终端设备及存储介质
CN111105489A (zh) 数据合成方法和装置、存储介质和电子装置
Lim et al. 3-D reconstruction using the kinect sensor and its application to a visualization system
Biris et al. Compression of Probabilistic Volumetric Models using multi-resolution scene flow
CN112634418B (zh) 一种人体模型穿模可见性检测方法、装置及电子设备
CN118015167A (zh) 基于光流的单视频双手动态三维运动捕捉方法和装置
Pirovano et al. Robust silhouette extraction from kinect data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221230

Address after: Room 3346, Floor 3, International Innovation Expo Center, No. 267, Kejiyuan Road, Baiyang Street, Qiantang District, Hangzhou, Zhejiang 310020

Patentee after: Hangzhou Xinchangyuan Technology Co.,Ltd.

Address before: 100084 Tsinghua Yuan, Beijing, Haidian District

Patentee before: TSINGHUA University

TR01 Transfer of patent right