CN111354029A - 手势深度确定方法、装置、设备及存储介质 - Google Patents

手势深度确定方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN111354029A
CN111354029A CN202010119178.3A CN202010119178A CN111354029A CN 111354029 A CN111354029 A CN 111354029A CN 202010119178 A CN202010119178 A CN 202010119178A CN 111354029 A CN111354029 A CN 111354029A
Authority
CN
China
Prior art keywords
depth
point
feature point
preset
target finger
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010119178.3A
Other languages
English (en)
Other versions
CN111354029B (zh
Inventor
黄少光
许秋子
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Realis Multimedia Technology Co Ltd
Original Assignee
Shenzhen Realis Multimedia Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Realis Multimedia Technology Co Ltd filed Critical Shenzhen Realis Multimedia Technology Co Ltd
Priority to CN202010119178.3A priority Critical patent/CN111354029B/zh
Publication of CN111354029A publication Critical patent/CN111354029A/zh
Priority to PCT/CN2021/073715 priority patent/WO2021169704A1/zh
Application granted granted Critical
Publication of CN111354029B publication Critical patent/CN111354029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及图像处理领域，公开了一种手势深度确定方法、装置、设备及存储介质，用于提高基于深度相机测量手部特征点深度信息的准确性。该方法包括：采集手部深度图像，获取手部深度图像中包含的预设手腕特征点及其深度值；根据深度值判断预设手腕特征点是否为噪点，当预设手腕特征点为噪点时，获取离预设手腕特征点最近的预设手指特征点，作为目标手指特征点；判断目标手指特征点是否为噪点；当不为噪点时，判断预设手腕特征点与目标手指特征点的连线上的像素点是否均为噪点；当不均为噪点时，计算预设手腕特征点与目标手指特征点的连线上的所有正常点的中值深度，作为预设手腕特征点的深度。

Description

手势深度确定方法、装置、设备及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及手势深度确定方法、装置、设备及存储介质。
背景技术
近年来，随着人机交互、机器视觉等技术的发展，深度相机逐渐运用到物体识别、场景建模等应用场景。与普通的彩色相机仅能拍摄物体的2D图像不同，深度相机是一种3D摄像机，其所拍摄的深度图像不仅包括颜色信息，还包括深度信息，即图像中的实际物体特征点距离相机的距离，通过深度图像，可以得到物体的三维坐标，从而还原真实场景，实现场景建模等应用。
目前，在通过深度相机采集用户的手部3D图像时，由于环境光线、手部晃动等原因，很容易导致采集到的手部深度信息存在噪声，比如对于手指尖的点，由于手指尖是手的末端，晃动幅度最大，因此很有可能误测它处的深度信息作为手指尖的深度信息。因此，现有的基于深度相机测量手部特征点深度信息的准确性还有待提高。
发明内容
本发明的主要目的在于提出一种手势深度确定方法、装置、设备及存储介质，旨在提高基于深度相机测量手部特征点深度信息的准确性。
本发明第一方面提供了一种手势深度确定方法，所述手势深度确定方法包括：
通过深度相机采集手部深度图像，获取所述手部深度图像中包含的预设手腕特征点和所述预设手腕特征点的深度值；
根据所述深度值判断所述预设手腕特征点是否为噪点；
当所述预设手腕特征点为噪点时，获取离所述预设手腕特征点最近的预设手指特征点，作为目标手指特征点；
判断所述目标手指特征点是否为噪点；
当所述目标手指特征点不为噪点时，判断所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点；
当所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点不均为噪点时，计算所述预设手腕特征点与所述目标手指特征点的连线上的所有正常点的中值深度，作为所述预设手腕特征点的深度。
可选的，在本发明第一方面的第一种实现方式中，所述根据所述深度值判断所述预设手腕特征点是否为噪点的步骤包括：
根据所述深度相机的工作深度范围，识别所述手部深度图像中的手部区域的非噪点，并获取所述非噪点的深度值；
计算获取到的所有非噪点的深度值的中值，并计算所述预设手腕特征点的深度值与所述中值之差的绝对值；
判断所述预设手腕特征点的深度值与所述中值之差的绝对值是否大于或等于预设阈值；
当所述预设手腕特征点的深度值与所述中值之差的绝对值大于或等于预设阈值时，判定所述预设手腕特征点为噪点。
可选的，在本发明第一方面的第二种实现方式中，所述判断所述目标手指特征点是否为噪点的步骤包括：
获取所述目标手指特征点的深度值，计算所述目标手指特征点的深度值与所述中值之差的绝对值；
判断所述目标手指特征点的深度值与所述中值之差的绝对值是否大于或等于所述预设阈值；
当所述目标手指特征点的深度值与所述中值之差的绝对值大于或等于所述预设阈值时，判定所述目标手指特征点为噪点；
当所述目标手指特征点的深度值与所述中值之差的绝对值小于所述预设阈值时，判定所述目标手指特征点不为噪点。
可选的，在本发明第一方面的第三种实现方式中，所述判断所述目标手指特征点是否为噪点的步骤之后，还包括：
当所述目标手指特征点为噪点时，获取离所述预设手腕特征点最近的正常点的深度，将离所述预设手腕特征点最近的正常点的深度作为所述预设手腕特征点的深度。
可选的，在本发明第一方面的第四种实现方式中，所述判断所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点的步骤之后，还包括：
当所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点均为噪点时，获取离所述预设手腕特征点最近的正常点的深度，将离所述预设手腕特征点最近的正常点的深度作为所述预设手腕特征点的深度。
本发明第二方面提供了一种手势深度确定装置，所述手势深度确定装置包括：
采集模块，用于通过深度相机采集手部深度图像，获取所述手部深度图像中包含的预设手腕特征点和所述预设手腕特征点的深度值；
第一判断模块，用于根据所述深度值判断所述预设手腕特征点是否为噪点；
获取模块，用于当所述预设手腕特征点为噪点时，获取离所述预设手腕特征点最近的预设手指特征点，作为目标手指特征点；
第二判断模块，用于判断所述目标手指特征点是否为噪点；
第三判断模块，用于当所述目标手指特征点不为噪点时，判断所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点；
计算模块，用于当所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点不均为噪点时，计算所述预设手腕特征点与所述目标手指特征点的连线上的所有正常点的中值深度，作为所述预设手腕特征点的深度。
本发明第三方面提供了一种手势深度确定设备，所述手势深度确定设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；所述至少一个处理器调用所述存储器中的所述指令，以使得所述手势深度确定设备执行上述的手势深度确定方法。
本发明的第四方面提供了一种存储介质，所述存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的手势深度确定方法。
本发明通过深度相机采集手部深度图像，获取手部深度图像中包含的预设手腕特征点和预设手腕特征点的深度值；根据深度值判断预设手腕特征点是否为噪点；当预设手腕特征点为噪点时，获取离预设手腕特征点最近的预设手指特征点，作为目标手指特征点；判断目标手指特征点是否为噪点；当目标手指特征点不为噪点时，判断预设手腕特征点与目标手指特征点的连线上，除目标手指特征点以外的像素点是否均为噪点；当预设手腕特征点与目标手指特征点的连线上，除目标手指特征点以外的像素点不均为噪点时，计算预设手腕特征点与目标手指特征点的连线上的所有正常点的中值深度，作为预设手腕特征点的深度。这种方式当预设手腕特征点为噪点时，通过找正常点的中值深度取代该预设手腕特征点的深度，能够获取到更加稳定、准确的手部特征点深度信息，从而提高了基于深度相机测量手部特征点深度信息的准确性。
附图说明
图1为本发明手势深度确定方法的一个实施例的流程示意图；
图2为本发明实施例手部深度图像中包含的预设手部特征点的示意图；
图3为本发明手势深度确定装置的一个实施例的模块示意图；
图4为本发明实施例提供的手势深度确定设备的结构示意图。
具体实施方式
本发明实施例提供了一种手势深度确定方法、装置、设备及存储介质，当预设手腕特征点为噪点时，通过找正常点的中值深度取代该预设手腕特征点的深度，能够获取到更加稳定、准确的手部特征点深度信息，从而提高了基于深度相机测量手部特征点深度信息的准确性。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明手势深度确定方法实施例的具体流程进行描述。
参照图1，图1为本发明手势深度确定方法的一个实施例的流程示意图，该方法包括：
步骤101，通过深度相机采集手部深度图像，获取所述手部深度图像中包含的预设手腕特征点和所述预设手腕特征点的深度值；
可以理解的是，本发明的执行主体可以为手势深度确定装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
在本实施例中，服务器与深度相机通信连接，该深度相机具备深度图像的拍摄功能，其具体型号可以灵活选择，比如可以是kinectV1(第一代kinect)或kinectV2(第二代kinect)等。
首先，服务器通过深度相机采集用户的手部深度图像，并获取该手部深度图像中包含的预设手指特征点。参照图2，图2为本发明实施例手部深度图像中包含的预设手部特征点的示意图，该手部深度图像中包含21个预设手部特征点，具体包括20个位于手指上的预设手指特征点：拇指T0、T1、T2、T3，食指I0、I1、I2、I3，中指M0、M1、M2、M3，无名指R0、R1、R2、R3，小指L0、L1、L2、L3，以及1个位于手腕上的预设手腕特征点W。
服务器获取采集到的手部深度图像中包含的预设手腕特征点的深度值，该深度值表示手部特征点距离深度相机的距离。具体地，服务器可以首先通过深度相机采集手部RGB图像和手部深度图像，通过对齐算法将两个图像进行对齐，从而定位手的位置和手的特征点在RGB图像中的位置，然后再将该RGB图像与手部深度图像进行坐标映射，从而获取到该手部深度图像中包含的整个手的深度信息，并通过深度学习模型获取手腕特征点和手指特征点的二维信息，同时获取到该手部深度图像中包含的整个手的深度信息，再从整个手的深度信息中获取预设手腕特征点的深度值。
步骤102，根据所述深度值判断所述预设手腕特征点是否为噪点；
该步骤102具体可以包括：根据所述深度相机的工作深度范围，识别所述手部深度图像中的手部区域的非噪点，并获取所述非噪点的深度值；计算获取到的所有非噪点的深度值的中值，并计算所述预设手腕特征点的深度值与所述中值之差的绝对值；判断所述预设手腕特征点的深度值与所述中值之差的绝对值是否大于或等于预设阈值；当所述预设手腕特征点的深度值与所述中值之差的绝对值大于或等于预设阈值时，判定所述预设手腕特征点为噪点。
以kinectV2相机为例，kinectV2相机的工作深度范围是500～4500mm，物体距离相机太近或太远都会导致深度信息测量不准确，为此，服务器可以获取该手部深度图像中的手部区域的所有像素点的深度值，将深度值处于500～4500mm的像素点作为非噪点，从而实现对手部深度图像中的手部区域的非噪点的识别。
在识别到手部深度图像中的手部区域的非噪点后，计算所有非噪点的深度值的中值，即中位数。具体地，服务器获取每个非噪点的深度值并将该深度值由小到大进行排列，得到一个数列，当该数列的项数为奇数时，处于中间位置的深度值即为中位数，当该数列的项数为偶数时，中位数则为处于中间位置的2个深度值的平均数。之后，服务器计算手部深度图像中包含的预设手腕特征点的深度值与该中值之差的绝对值，并判断该绝对值是否大于或等于预设阈值，若该绝对值大于或等于预设阈值，则服务器判定该预设手腕特征点为噪点，反之，若该绝对值小于预设阈值，则说明该预设手腕特征点为非噪点，此时不对该预设手腕特征点的深度值做任何处理。
需要说明的是，上述预设阈值可以根据人手掌的长度确定，比如可以将图2中特征点W到M3的长度作为预设阈值。因为拍照时手掌是可以活动的，如果手臂不动，手掌向前向后最大的距离就是手掌活动空间的深度阈值，超出该深度阈值的点均视为不正常。
步骤103，当所述预设手腕特征点为噪点时，当所述预设手腕特征点为噪点时，获取离所述预设手腕特征点最近的预设手指特征点，作为目标手指特征点；
该步骤中，当服务器判定预设手腕特征点为噪点时，获取离该预设手腕特征点最近的预设手指特征点，作为目标手指特征点。
步骤104，判断所述目标手指特征点是否为噪点；
该步骤104具体可以包括：获取所述目标手指特征点的深度值，计算所述目标手指特征点的深度值与所述中值之差的绝对值；判断所述目标手指特征点的深度值与所述中值之差的绝对值是否大于或等于所述预设阈值；当所述目标手指特征点的深度值与所述中值之差的绝对值大于或等于所述预设阈值时，判定所述目标手指特征点为噪点；当所述目标手指特征点的深度值与所述中值之差的绝对值小于所述预设阈值时，判定所述目标手指特征点不为噪点。
在判断目标手指特征点是否为噪点时，服务器首先获取该目标手指特征点的深度值，计算该目标手指特征点的深度值与上述中值之差的绝对值，然后判断该绝对值是否大于或等于上述预设阈值，若该绝对值大于或等于预设阈值，则服务器判定该目标手指特征点为噪点，反之，若该绝对值小于预设阈值，则判定该目标手指特征点不为噪点。
步骤105，当所述目标手指特征点不为噪点时，判断所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点；
该步骤中，当目标手部特征点不为噪点时，服务器进一步判断预设手腕特征点与该目标手部特征点的连线上，除该目标手部特征点以外的像素点是否均为噪点，具体判断方式可以参照上述判断目标手部特征点是否为噪点的方式，此处不做赘述。
步骤106，当所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点不均为噪点时，计算所述预设手腕特征点与所述目标手指特征点的连线上的所有正常点的中值深度，作为所述预设手腕特征点的深度。
该步骤中，当预设手腕特征点与目标手部特征点的连线上，除该目标手部特征点以外的像素点不均为噪点时，服务器获取该连线上的所有正常点(即非噪点)的深度值的中值，即中值深度，将该中值深度作为该预设手腕特征点的深度。
以图2中的手腕特征点W为例，对于手腕特征点W，当判定其为噪点时，则获取离W最近的手指特征点T0，将T0作为目标手指特征点并判断T0是否为噪点，如果T0不为噪点，则判断W与T0连线上的像素点是否均为噪点，若不均为噪点，则计算W与T0连线上的所有正常点的中值深度，将该中值深度作为手腕特征点W的深度。
本实施例通过上述方式，当预设手腕特征点为噪点时，通过找正常点的中值深度取代该预设手腕特征点的深度，能够获取到更加稳定、准确的手部特征点深度信息，从而提高了基于深度相机测量手部特征点深度信息的准确性。
进一步地，基于本发明手势深度确定方法第一实施例，提出本发明手势深度确定方法第二实施例。
在本实施例中，上述步骤104之后，还可以包括：当所述目标手指特征点为噪点时，获取离所述预设手腕特征点最近的正常点的深度，将离所述预设手腕特征点最近的正常点的深度作为所述预设手腕特征点的深度。
具体地，当目标手部特征点为噪点时，服务器可以在预设手腕特征点所在的手指上，以该预设手腕特征点为中心，检索离该预设手腕特征点最近的正常点，即深度值处于预设范围内的像素点，然后将该正常点的深度作为该预设手腕特征点的深度。
以图2中的手腕特征点W为例，对于手腕特征点W，当判定其为噪点时，则获取离W最近的正常点，该正常点的深度即可作为手腕特征点W的深度。
进一步地，上述步骤105之后，还可以包括：当所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点均为噪点时，获取离所述预设手腕特征点最近的正常点的深度，将离所述预设手腕特征点最近的正常点的深度作为所述预设手腕特征点的深度。
具体地，当预设手腕特征点与目标手部特征点的连线上，除该目标手部特征点以外的像素点均为噪点时，服务器可以在预设手腕特征点所在的手指上，以该预设手腕特征点为中心，检索离该预设手腕特征点最近的正常点，即深度值处于预设范围内的像素点，然后将该正常点的深度作为该预设手腕特征点的深度。
以图2中的手腕特征点W为例，对于手腕特征点W，当判定其为噪点时，则获取离W最近的手指特征点T0，将T0作为目标手指特征点并判断T0是否为噪点，如果T0不为噪点，则可以以W为中心检索离W最近的正常点，该正常点的深度即可作为手腕特征点W的深度。
在本实施例中，当目标手部特征点为噪点，或者当预设手腕特征点与目标手部特征点的连线上，除目标手部特征点以外的像素点均为噪点时，通过将离该预设手腕特征点最近的正常点的深度作为该预设手腕特征点的深度，进一步提高了基于深度相机测量手部特征点深度信息的准确性。
本发明实施例还提供一种手势深度确定装置。
参照图3，图3为本发明手势深度确定装置的一个实施例的模块示意图。本实施例中，所述手势深度确定装置包括：
采集模块301，用于通过深度相机采集手部深度图像，获取所述手部深度图像中包含的预设手腕特征点和所述预设手腕特征点的深度值；
第一判断模块302，用于根据所述深度值判断所述预设手腕特征点是否为噪点；
获取模块303，用于当所述预设手腕特征点为噪点时，获取离所述预设手腕特征点最近的预设手指特征点，作为目标手指特征点；
第二判断模块304，用于判断所述目标手指特征点是否为噪点；
第三判断模块305，用于当所述目标手指特征点不为噪点时，判断所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点；
计算模块306，用于当所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点不均为噪点时，计算所述预设手腕特征点与所述目标手指特征点的连线上的所有正常点的中值深度，作为所述预设手腕特征点的深度。
可选的，所述第一判断模块302还用于：
根据所述深度相机的工作深度范围，识别所述手部深度图像中的手部区域的非噪点，并获取所述非噪点的深度值；
计算获取到的所有非噪点的深度值的中值，并计算所述预设手腕特征点的深度值与所述中值之差的绝对值；
判断所述预设手腕特征点的深度值与所述中值之差的绝对值是否大于或等于预设阈值；
当所述预设手腕特征点的深度值与所述中值之差的绝对值大于或等于预设阈值时，判定所述预设手腕特征点为噪点。
可选的，所述第二判断模块304还用于：
获取所述目标手指特征点的深度值，计算所述目标手指特征点的深度值与所述中值之差的绝对值；
判断所述目标手指特征点的深度值与所述中值之差的绝对值是否大于或等于所述预设阈值；
当所述目标手指特征点的深度值与所述中值之差的绝对值大于或等于所述预设阈值时，判定所述目标手指特征点为噪点；
当所述目标手指特征点的深度值与所述中值之差的绝对值小于所述预设阈值时，判定所述目标手指特征点不为噪点。
可选的，所述手势深度确定装置还包括：
第一处理模块，用于当所述目标手指特征点为噪点时，获取离所述预设手腕特征点最近的正常点的深度，将离所述预设手腕特征点最近的正常点的深度作为所述预设手腕特征点的深度。
可选的，所述手势深度确定装置还包括：
第二处理模块，用于当所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点均为噪点时，获取离所述预设手腕特征点最近的正常点的深度，将离所述预设手腕特征点最近的正常点的深度作为所述预设手腕特征点的深度。
上述手势深度确定装置中各个模块的功能实现及有益效果与上述手势深度确定方法实施例中各步骤相对应，此处不再赘述。
上面从模块化功能实体的角度对本发明实施例中的手势深度确定装置进行了详细描述，下面从硬件处理的角度对本发明实施例中手势深度确定设备进行详细描述。
参照图4，图4为本发明实施例提供的手势深度确定设备的结构示意图。该手势深度确定设备400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessing units，CPU)410(例如，一个或一个以上处理器)和存储器420，一个或一个以上存储应用程序433或数据432的存储介质430(例如一个或一个以上海量存储设备)。其中，存储器420和存储介质430可以是短暂存储或持久存储。存储在存储介质430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对手势深度确定设备400中的一系列指令操作。更进一步地，处理器410可以设置为与存储介质430通信，在手势深度确定设备400上执行存储介质430中的一系列指令操作。
手势深度确定设备400还可以包括一个或一个以上电源440，一个或一个以上有线或无线网络接口450，一个或一个以上输入输出接口460，和/或，一个或一个以上操作***431，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图4示出的手势深度确定设备结构并不构成对基于手势深度确定设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种存储介质，该存储介质可以为非易失性存储介质，也可以为易失性存储介质，所述存储介质中存储有手势深度确定程序，所述手势深度确定程序被处理器执行时实现如上所述的手势深度确定方法的步骤。
其中，在所述处理器上运行的手势深度确定程序被执行时所实现的方法及有益效果可参照本发明手势深度确定方法的各个实施例，此处不再赘述。
本领域技术人员可以理解，上述集成的模块或单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种手势深度确定方法，其特征在于，所述手势深度确定方法包括如下步骤：
通过深度相机采集手部深度图像，获取所述手部深度图像中包含的预设手腕特征点和所述预设手腕特征点的深度值；
根据所述深度值判断所述预设手腕特征点是否为噪点；
当所述预设手腕特征点为噪点时，获取离所述预设手腕特征点最近的预设手指特征点，作为目标手指特征点；
判断所述目标手指特征点是否为噪点；
当所述目标手指特征点不为噪点时，判断所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点；
当所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点不均为噪点时，计算所述预设手腕特征点与所述目标手指特征点的连线上的所有正常点的中值深度，作为所述预设手腕特征点的深度。
2.如权利要求1所述的手势深度确定方法，其特征在于，所述根据所述深度值判断所述预设手腕特征点是否为噪点的步骤包括：
根据所述深度相机的工作深度范围，识别所述手部深度图像中的手部区域的非噪点，并获取所述非噪点的深度值；
计算获取到的所有非噪点的深度值的中值，并计算所述预设手腕特征点的深度值与所述中值之差的绝对值；
判断所述预设手腕特征点的深度值与所述中值之差的绝对值是否大于或等于预设阈值；
当所述预设手腕特征点的深度值与所述中值之差的绝对值大于或等于预设阈值时，判定所述预设手腕特征点为噪点。
3.如权利要求2所述的手势深度确定方法，其特征在于，所述判断所述目标手指特征点是否为噪点的步骤包括：
获取所述目标手指特征点的深度值，计算所述目标手指特征点的深度值与所述中值之差的绝对值；
判断所述目标手指特征点的深度值与所述中值之差的绝对值是否大于或等于所述预设阈值；
当所述目标手指特征点的深度值与所述中值之差的绝对值大于或等于所述预设阈值时，判定所述目标手指特征点为噪点；
当所述目标手指特征点的深度值与所述中值之差的绝对值小于所述预设阈值时，判定所述目标手指特征点不为噪点。
4.如权利要求1-3中任一项所述的手势深度确定方法，其特征在于，所述判断所述目标手指特征点是否为噪点的步骤之后，还包括：
当所述目标手指特征点为噪点时，获取离所述预设手腕特征点最近的正常点的深度，将离所述预设手腕特征点最近的正常点的深度作为所述预设手腕特征点的深度。
5.如权利要求1-3中任一项所述的手势深度确定方法，其特征在于，所述判断所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点的步骤之后，还包括：
当所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点均为噪点时，获取离所述预设手腕特征点最近的正常点的深度，将离所述预设手腕特征点最近的正常点的深度作为所述预设手腕特征点的深度。
6.一种手势深度确定装置，其特征在于，所述手势深度确定装置包括：
采集模块，用于通过深度相机采集手部深度图像，获取所述手部深度图像中包含的预设手腕特征点和所述预设手腕特征点的深度值；
第一判断模块，用于根据所述深度值判断所述预设手腕特征点是否为噪点；
获取模块，用于当所述预设手腕特征点为噪点时，获取离所述预设手腕特征点最近的预设手指特征点，作为目标手指特征点；
第二判断模块，用于判断所述目标手指特征点是否为噪点；
第三判断模块，用于当所述目标手指特征点不为噪点时，判断所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点是否均为噪点；
计算模块，用于当所述预设手腕特征点与所述目标手指特征点的连线上，除所述目标手指特征点以外的像素点不均为噪点时，计算所述预设手腕特征点与所述目标手指特征点的连线上的所有正常点的中值深度，作为所述预设手腕特征点的深度。
7.如权利要求6所述的手势深度确定装置，其特征在于，所述第一判断模块还用于：
根据所述深度相机的工作深度范围，识别所述手部深度图像中的手部区域的非噪点，并获取所述非噪点的深度值；
计算获取到的所有非噪点的深度值的中值，并计算所述预设手腕特征点的深度值与所述中值之差的绝对值；
判断所述预设手腕特征点的深度值与所述中值之差的绝对值是否大于或等于预设阈值；
当所述预设手腕特征点的深度值与所述中值之差的绝对值大于或等于预设阈值时，判定所述预设手腕特征点为噪点。
8.如权利要求7所述的手势深度确定装置，其特征在于，所述第二判断模块还用于：
获取所述目标手指特征点的深度值，计算所述目标手指特征点的深度值与所述中值之差的绝对值；
判断所述目标手指特征点的深度值与所述中值之差的绝对值是否大于或等于所述预设阈值；
当所述目标手指特征点的深度值与所述中值之差的绝对值大于或等于所述预设阈值时，判定所述目标手指特征点为噪点；
当所述目标手指特征点的深度值与所述中值之差的绝对值小于所述预设阈值时，判定所述目标手指特征点不为噪点。
9.一种手势深度确定设备，其特征在于，所述手势深度确定设备包括：存储器和至少一个处理器，所述存储器中存储有指令，所述存储器和所述至少一个处理器通过线路互连；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述手势深度确定设备执行如权利要求1-7中任一项所述的手势深度确定方法。
10.一种存储介质，所述存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的手势深度确定方法。
CN202010119178.3A 2020-02-26 2020-02-26 手势深度确定方法、装置、设备及存储介质 Active CN111354029B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010119178.3A CN111354029B (zh) 2020-02-26 2020-02-26 手势深度确定方法、装置、设备及存储介质
PCT/CN2021/073715 WO2021169704A1 (zh) 2020-02-26 2021-01-26 手势深度确定方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010119178.3A CN111354029B (zh) 2020-02-26 2020-02-26 手势深度确定方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN111354029A true CN111354029A (zh) 2020-06-30
CN111354029B CN111354029B (zh) 2023-05-05

Family

ID=71197283

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010119178.3A Active CN111354029B (zh) 2020-02-26 2020-02-26 手势深度确定方法、装置、设备及存储介质

Country Status (2)

Country Link
CN (1) CN111354029B (zh)
WO (1) WO2021169704A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728748A (zh) * 2019-09-30 2020-01-24 中国科学院国家天文台南京天文光学技术研究所 基于半球正交函数的渲染方法
CN111368675A (zh) * 2020-02-26 2020-07-03 深圳市瑞立视多媒体科技有限公司 手势深度信息的处理方法、装置、设备及存储介质
WO2021169704A1 (zh) * 2020-02-26 2021-09-02 深圳市瑞立视多媒体科技有限公司 手势深度确定方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899591A (zh) * 2015-06-17 2015-09-09 吉林纪元时空动漫游戏科技股份有限公司 基于深度相机的手腕点和手臂点的提取方法
CN106529480A (zh) * 2016-11-14 2017-03-22 江汉大学 一种基于深度信息的指尖检测和手势识别方法与***
CN107688779A (zh) * 2017-08-18 2018-02-13 北京航空航天大学 一种基于rgbd摄像头深度图像的机器人手势交互方法和装置
CN107818290A (zh) * 2016-09-14 2018-03-20 京东方科技集团股份有限公司 基于深度图的启发式手指检测方法
US20190332858A1 (en) * 2018-04-27 2019-10-31 Boe Technology Group Co., Ltd. Method and device for identifying wrist, method for identifying gesture, electronic equipment and computer-readable storage medium

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9536135B2 (en) * 2012-06-18 2017-01-03 Microsoft Technology Licensing, Llc Dynamic hand gesture recognition using depth data
CN106055091B (zh) * 2016-05-16 2019-08-06 电子科技大学 一种基于深度信息和校正方式的手部姿态估计方法
CN107885327B (zh) * 2017-10-27 2020-11-13 长春理工大学 一种基于Kinect深度信息的指尖检测方法
CN111354029B (zh) * 2020-02-26 2023-05-05 深圳市瑞立视多媒体科技有限公司 手势深度确定方法、装置、设备及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104899591A (zh) * 2015-06-17 2015-09-09 吉林纪元时空动漫游戏科技股份有限公司 基于深度相机的手腕点和手臂点的提取方法
CN107818290A (zh) * 2016-09-14 2018-03-20 京东方科技集团股份有限公司 基于深度图的启发式手指检测方法
CN106529480A (zh) * 2016-11-14 2017-03-22 江汉大学 一种基于深度信息的指尖检测和手势识别方法与***
CN107688779A (zh) * 2017-08-18 2018-02-13 北京航空航天大学 一种基于rgbd摄像头深度图像的机器人手势交互方法和装置
US20190332858A1 (en) * 2018-04-27 2019-10-31 Boe Technology Group Co., Ltd. Method and device for identifying wrist, method for identifying gesture, electronic equipment and computer-readable storage medium

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728748A (zh) * 2019-09-30 2020-01-24 中国科学院国家天文台南京天文光学技术研究所 基于半球正交函数的渲染方法
CN111368675A (zh) * 2020-02-26 2020-07-03 深圳市瑞立视多媒体科技有限公司 手势深度信息的处理方法、装置、设备及存储介质
WO2021169705A1 (zh) * 2020-02-26 2021-09-02 深圳市瑞立视多媒体科技有限公司 手势深度信息的处理方法、装置、设备及存储介质
WO2021169704A1 (zh) * 2020-02-26 2021-09-02 深圳市瑞立视多媒体科技有限公司 手势深度确定方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN111354029B (zh) 2023-05-05
WO2021169704A1 (zh) 2021-09-02

Similar Documents

Publication Publication Date Title
Memo et al. Head-mounted gesture controlled interface for human-computer interaction
CN112797897B (zh) 物体几何参数的测量方法、装置和终端
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
WO2018177337A1 (zh) 手部三维数据确定方法、装置及电子设备
KR20220009393A (ko) 이미지 기반 로컬화
US8452080B2 (en) Camera pose estimation apparatus and method for augmented reality imaging
KR101612605B1 (ko) 얼굴 특징점 추출 방법 및 이를 수행하는 장치
CN111354029B (zh) 手势深度确定方法、装置、设备及存储介质
WO2023071964A1 (zh) 数据处理方法, 装置, 电子设备及计算机可读存储介质
CN112506340B (zh) 设备控制方法、装置、电子设备及存储介质
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
KR20120048370A (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
CN111709973A (zh) 目标跟踪方法、装置、设备及存储介质
CN111833447A (zh) 三维地图构建方法、三维地图构建装置及终端设备
CN112880687A (zh) 一种室内定位方法、装置、设备和计算机可读存储介质
US11798177B2 (en) Hand tracking method, device and system
CN110866977A (zh) 增强现实处理方法及装置、***、存储介质和电子设备
CN105809664B (zh) 生成三维图像的方法和装置
WO2023173668A1 (zh) 一种虚拟场景中的输入识别方法、设备及存储介质
KR20140019950A (ko) 단말기의 모노 카메라에 입력된 손가락 영상을 이용한 3차원 좌표 생성 방법 및 모노 카메라에 입력된 손가락 영상을 이용하여 3차원 좌표를 생성하는 이동 단말기
KR20230004280A (ko) 딥러닝 기술을 이용한 모션 추적 시스템
CN110310325B (zh) 一种虚拟测量方法、电子设备及计算机可读存储介质
CN108804161B (zh) 应用的初始化方法、装置、终端和存储介质
CN111368675B (zh) 手势深度信息的处理方法、装置、设备及存储介质
Mizuchi et al. Monocular 3d palm posture estimation based on feature-points robust against finger motion

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant