CN104217192A - 基于深度图像的手定位方法和设备 - Google Patents

Abstract

提供了一种基于深度图像的手定位方法和设备。所述方法包括：确定基于深度图像获取的手候选区域的主方向；沿所述主方向查找手的顶端边缘点；基于各个所述顶端边缘点确定手的位置点。所述手定位方法和设备能够准确地定位手的位置，而不受光照条件、手的形状的影响。

Description

基于深度图像的手定位方法和设备

技术领域

本发明总体地涉及手的跟踪定位，更具体地涉及基于深度图像的手定位方法和设备。

背景技术

手跟踪定位是手势识别***中非常重要且关键的一部分。为了方便用户操作，手跟踪定位***不应该要求用户穿戴任何特殊的设备，如特殊手套，彩色标志物等；另外，手是非刚性物体，具有运动快、易变形、自遮挡等特点。因此手跟踪定位是一项非常有难度的工作。

以往，很多研究者采用手的颜色特征作为手的表观特征来跟踪并定位手。然而，该方法很容易受到光照条件的影响。考虑到深度图像受光照影响较小，目前越来越多的研究者基于深度图像进行手的跟踪定位。但是，深度图像上的信息较少，因此如何从深度图像提取出有效信息来进行手跟踪定位是一个需要解决的问题。一些研究者采用深度阈值分割出候选的手区域，并通过形状特征、边缘特征或直方图统计特征来检查该区域是否为手。但如果手的候选区域定位不准确，或者如果手在候选区域范围外，这种方法将无法确定手位置。

美国专利US7372977b2公开了一项采用深度相机进行实时视觉跟踪的技术。在该技术中，首先从深度图像中获取到跟踪目标的边缘信息，然后采用数学形式的轮廓表观模型表示该跟踪目标，最后根据深度数据对跟踪目标的边缘信息与轮廓模型进行匹配，以找到所跟踪的位置点。在这一发明中主要采用轮廓信息进行手的跟踪，因此对手的轮廓要求较严格。

文章“3D hand tracking using kalman filter in depth space”提出了一种采用运动历史图像信息进行实时的3D手跟踪的方法。在该方法中，基于由3D深度传感器产生的图像信息，通过运动聚类，检测手的候选区域，然后通过kalman滤波器实现手的跟踪与定位。该技术在手运动时能够较好的确定手的位置，实现手的跟踪，但在手静止的情况下,容易受噪声影响而产生误跟。

发明内容

根据本发明的实施例，提供了一种基于深度图像的手定位方法，包括：确定基于深度图像获取的手候选区域的主方向；沿所述主方向查找手的顶端边缘点；基于各个所述顶端边缘点确定手的位置点。

根据本发明的另一实施例，提供了一种基于深度图像的手定位设备,包括：主方向确定装置，用于确定基于深度图像预测的手候选区域的主方向；边缘点查找装置，用于沿所述主方向查找手的顶端边缘点；位置点确定装置，用于基于各个所述顶端边缘点确定手的位置点。

根据本发明实施例的基于深度图像的手定位技术能够准确地定位手的位置，而不受光照条件、手的形状的影响。

附图说明

图1示意性地示出了应用根据本发明实施例的手跟踪定位技术的场景。

图2示出了根据本发明实施例的基于深度图像的手定位方法的流程图。

图3（a）和3（b）分别示意性地示出了基于深度图像确定的候选区域块和手候选区域。

图4（a）和（b）示出了手候选区域的主方向的示意图。

图5示出了根据本发明实施例的沿主方向查找手的顶端边缘点的流程图。

图6(a)到6(d)示出了根据本发明实施例的沿主方向查找手的顶端边缘点的示例过程。

图7示出根据本发明实施例的基于各个顶端边缘点确定手的位置点的流程图。

图8示出了根据本发明实施例的基于深度图像的手定位设备的功能配置框图。

图9示出了根据本发明实施例的基于深度图像的手定位***的总体硬件框图。

具体实施方式

为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方式对本发明作进一步详细说明。

图1示意性地示出了应用根据本发明实施例的手定位技术的场景。如图1所示，用户站在诸如双目摄像机的立体摄像机的摄像范围内，该立体摄像机对用户进行拍摄。当用户在摄像机范围内移动他/她的手时，诸如计算机的处理设备能够基于根据立体相机拍摄的图像获得的深度图像，确定用户的手的位置信息，从而实现对手的跟踪。例如，图1中的黑色圆点示出了手的移动轨迹。

如本领域技术人员公知的，深度图像是图像中每一像素点的值表示场景中某一点与摄像机之间的距离的图像。相比于灰度图像，深度图像具有物体的深度（距离）信息，因此适合于需要立体信息的各种应用。

图2示出了根据本发明实施例的基于深度图像的手定位方法的流程图。

如图2所示，在步骤S210，确定基于深度图像获取的手候选区域的主方向。

如前文所述，基于深度图像来获取手候选区域在本领域中已经有很多研究，其并非是本发明的关键所在，本领域技术人员可以利用任何现有的适当方式从深度图像获取手候选区域。此处，为了说明的完整，对本实施例中使用的获取方式进行简单的描述。

首先，基于历史信息预测手的候选位置点。

由于手的运动具有连续性，因此在该步骤中将基于手先前的运动状态和运动参数来预测手当前可能出现的位置。手的位置点是用来代表的手的位置的点，其可以是例如手的中心点、重心点等等。

该步骤可以利用例如kalman滤波、粒子滤波等任何适当的点跟踪方法来实现。，由于在局部范围内，手的运动可以近似为线性运动，因此最简单的预测方法可以根据前一帧中手的位置点和手的运动速度来预测得到当前帧中手可能出现的位置，如下式所示：

$\left\{\begin{array}{c}{S}_{x,t}=S_{x,t-1}+V_{x,t-1}\×\mathrm{\Δt}\\ S_{y,t}=S_{y,t-1}+V_{y,t-1}\×\mathrm{\Δt}\end{array}\right....\left(1\right)$

其中，(S_x,t-1,S_y,t-1)为前一帧（t-1时刻）中手的位置点的坐标，(S_x,t,S_y,t)为当前帧（t时刻）中手的候选位置点的坐标，Δt为连续两帧之间的时间间隔，运动速度(V_x,t-1,V_y,t-1)可以根据下式计算得出：

$\left\{\begin{array}{c}{V}_{x,t-1}=\frac{S_{x,t-1}-S_{x,t-2}}{\mathrm{\Δt}}\\ V_{y,t-1}=\frac{S_{y,t-1}-S_{y,t-2}}{\mathrm{\Δt}}\end{array}\right....\left(2\right)$

其中(S_x,t-2,S_y,t-2)为再前一帧（t-2时刻）中手的位置点的坐标。

在获取手的候选位置点之后，基于该候选位置点和历史深度值信息确定候选区域块。

候选区域块可以采用任意形状，图3（a）中以矩形框为例示意性地示出了候选区域块。候选区域块的大小并不是固定的，而是具有自适应性，目的是使得被检测的手能够尽可能被包括在其中，而该候选区域块又不会太大。相对于固定大小的候选区域块，这种大小的自适应变化能够有效地降低计算的复杂度。具体的，在采集图像的过程中，由于近大远小的特征，当手靠近摄像机时，采集到的图像中手的面积较大，因此候选区域块相应地较大；而当手远离摄像机时，采集到的图像中手的面积较小，因此候选区域块相应地较小。作为示例，在本发明中采用矩形来表示候选区域块，并通过下式来确定候选区域块的半径，即矩形边长的一半：

HandRadius=α/HisDepthValue  ...(3)

其中，HandRadius为候选区域块的半径，α为常数，其大小可根据所使用摄像机的固定参数并基于图像中一个像素的长度所对应的被拍摄物体的实际长度来确定。HisDepthValue表示当前帧中手的候选位置点的参考深度值，可以用在先的连续多帧中手的位置点的平均深度值作为该HisDepthValue，如下式所示：

$\mathrm{HisDepthValue}=\left(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{DepthValu}{e}_i\right)/n...\left(4\right)$

其中Depthvalue_i为第i帧中手的位置点的真实深度值，n为帧数。

在确定候选区域块之后，从中分割出手候选区域。

由于在候选区域块中不仅包括手，还包含有深度图像中的其他图像内容，因此需要从中分割出手候选区域。这一分割处理可以通过各种现有的区域分割方法来实现，例如区域生长、阈值分割等等，此处不再进行详细描述。图3（b）示意性地示出了分割出的手候选区域。

以上已经简单介绍了基于深度图像来获取手候选区域的示例方式。如前所述，本领域技术人员可以利用任何现有的适当方式从深度图像获取手候选区域。下面，将对根据本发明实施例的、确定所述手候选区域的主方向的过程进行描述。

主方向是图像区域中能够得到的最长的线段所在的直线的方向。图4（a）和（b）示出了本发明实施例中的手候选区域的主方向（标号A指示的直线的方向）的示意图。主方向可以用本领域中各种适当的方法来计算，在本实施例中，使用主成分分析法（PCA）来计算主方向，其中用直线的方向向量A(Ax,Ay)表示主方向，并且Ay∈[-1,1],Ax∈[-1,1]。主成分分析法和直线的方向向量都是本领域中公知的，在此不再详细介绍。

可选地，可以对上述计算出的主方向进行调整，以减少噪声的影响。更明确的说，由于手的运动具有连续性，因此，手的主方向在前后两帧中的变化不应该太快，如果变化太快，则往往是因为有噪声的影响，因此可对所述主方向进行调整。

具体的，可以确定当前计算的主方向与前一帧图像中手的主方向的差异值；并且在所述差异值大于预定阈值的情况下，基于前预定帧图像中手的主方向对所述当前计算的主方向进行调整。

例如，预定阈值的一个可能示例为90度。当然，本领域技术人员可以根据经验和手的实际运动设定其他合适的角度。假设CurA（CurA.x,CurA.y）和LastA(LastA.x,LastA.y)分别表示当前手的主方向和前一帧的主方向，这样，当CurA（CurA.x,CurA.y）和LastA(LastA.x,LastA.y)之间的差异大于90度时，则可以通过求算术平均值、均方根平均值等各种适当的方式对CurA（CurA.x,CurA.y）进行调整。以求算术平均值为例，可以通过下式计算CurA（CurA.x,CurA.y）和LastA(LastA.x,LastA.y)的算术平均值，并将其作为当前的主方向。

CurA.x=(CurA.x+LastA.x)/2

CurA.y=(CurA.y+LastA.y)/2  ...(5)

能够理解，也可以计算前预定帧(例如前m帧)图像中的主方向和当前主方向的算术平均值，作为当前的主方向。

应当理解，上述主方向调整过程是可选的，而并非是必需的。

回到图2，在步骤S220，沿所述主方向查找手的顶端边缘点。

沿主方向能够较容易地找到手的顶端边缘点，并且即使前述手候选区域定位不准确（例如，手不在该手候选区域内），也能查找出手的顶端边缘点。以下将参考图5和图6(a)-(d)对步骤S220的处理进行详细描述。

如图5所示，在步骤S2201，确定与所述主方向垂直的第一直线，如图6（a）中的标号B所示。优选的，该第一直线可以经过上文中提到的手的候选位置点，以提高计算的效率。能够理解，第一直线与主方向垂直仅仅是一个示例，该第一直线也可以与主方向成其他角度。

随后，在步骤S2202，在以该第一直线的预定范围内的多个预定点为各自的起始点、沿所述主方向延伸的多条直线中的每一条直线上，查找一个所述顶端边缘点。

手的顶端边缘点有许多个，例如，在如图6（b）所示的沿主方向延伸的多条直线上，都可以查找到顶端边缘点。所述预定范围可以由用户根据经验来设定，目的是尽可能包括在其上能够找到顶端边缘点的直线（例如图6（b）中所示的直线），并且该范围又不会太大。作为一个可能的示例，所述预定范围可以是第一直线上、位于上文中所述的候选区域块中的部分。所述多个预定点可以根据需要来设定。例如，如果对于最终要确定的手的位置点的精度要求较高，则应当选取较多数量的预定点，例如可以将第一直线的预定范围内的每个像素点作为一个起始点，并在从这些起始点出发的沿主方向延伸的各条直线上查找顶端边缘点；而如果精度要求较低，则可以选取较少数量的预定点，例如可以以一定间隔从所述预定范围内的各个像素点中选取起始点。

在每一条沿主方向延伸的所述直线上，可以通过该直线上各个像素点深度值的梯度变化来选择可能的顶端边缘点。具体的，手上的相邻两个像素点的深度变化应该不大，如果深度变化较大，则可以认为这两个像素点中的一个位于手上，而另一个不在手上（例如在背景图像上）。因此，在本实施例中，对于每一条沿主方向延伸的所述直线，从起始点开始，顺序地计算该直线上每两个相邻像素点之间的深度值差异，并且当某两个相邻像素点的深度值差异大于预定阈值时，将这两个相邻像素点中距起始点较近的像素点作为顶端边缘点。其中预定阈值可以由本领域技术人员根据经验来设定。以下将参照图6（c）对此进行说明。例如，对于直线C，假设M₀是起始点，首先计算相邻像素点M₁和M₀的深度值的差异，如果该差异小于预定阈值，则表明该像素点M₁仍在手上，因此需要继续查找。随后，计算像素点M₂与M₁的深度值的差异，如果该差异仍小于预定阈值，则表明该像素点M₂仍在手上，因此需要继续查找。按照这一方式进行查找，直到找到深度值差异大于阈值的一对相邻像素点M_i-1和M_i。此时，可以认为像素点M_i-1位于手上，而像素点M_i不在手上，也就是说，这两个像素点中距离起始点M₀较近的像素点M_i-1是手的顶端边缘点。通过沿着每一条以第一直线上的预定点为起始点、沿主方向延伸的直线进行查找，可以查找到所有可能的顶端边缘点，如图6（d）所示。

可选地，可以对查找到的各个可能的顶端边缘点进行筛选，以减少噪声的影响。更明确的说，由于噪声影响，有些通过上述处理查找到的顶端边缘点并不是真正的手的顶端边缘点，因此可以通过下式来筛除：

a×handRadius>dis(edgepoint,centerpoint)>b×handRadius  ...(6)

其中，edgepoint表示未经筛选的、查找到的顶端边缘点，centerpoint和handRadius分别表示上一帧中跟踪得到的手的位置点和候选区域块的半径，dis（edgepoint,centerpoint）表示edgepoint和centerpoint之间的空间距离，a和b均为常数，可以由本领域技术人员基于人体肢体比例根据经验来设定。当查找到的顶端边缘点与上一帧中手的位置点之间的空间距离不满足公式（6）时，将该顶端边缘点作为噪声边缘点，加以筛除。

应当理解，上述顶端边缘点筛选过程是可选的，而并非是必需的

再次回到图2，在步骤S230，基于各个所述顶端边缘点确定手的位置点。以下将参考图7对步骤S230的处理进行描述。

如图7所示，在步骤S2301，计算各个所述顶端边缘点的均值位置点。具体的，可以通过求算术平均值、均方根平均值、几何平均值、加权平均值等各种方式来计算各个所述顶端边缘点的均值位置点。例如，以求算术平均值为例，可以通过下式来计算顶端边缘点的均值位置点：

$\left\{\begin{array}{c}{C}_x=(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{edgepoin}{t}_i.x)/n\\ C_y=(\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\mathrm{edgepoin}{t}_i.y)/n\end{array}\right....\left(7\right)$

其中，n为顶端边缘点的个数，edgepoint_i.x为第i个顶端边缘点的x轴坐标，edgepoint_i.y为第i个顶端边缘点的y轴坐标，（Cx,Cy）为均值位置点的坐标。

随后，在步骤S2302，基于该均值位置点和所述主方向，确定手的位置点。

在确定均值位置点后，可以通过各种适当的方式来计算手的位置点。考虑到手的位置点向均值位置点的连线大致应当是沿手的主方向的，因此在本实施例中，以均值位置点为起始点，沿着与主方向相反的方向，确定手的位置点，如下式所示：

handPx=Cx-Ax×c×handRadius

handPy=Cy-Ay×c×handRadius  ...(8)

其中，（handPx，handPy）为当前手的位置点的坐标，handRadius为候选区域块的半径，（Ax，Ay）为手的主方向，c为常数，其可以由本领域技术人员基于人体肢体比例根据经验来设定。

由此，确定出当前手的位置。可选的，可以利用手的历史运动轨迹、面积大小、形状等信息检测该位置的正确性。在确定当前手的位置正确时，可以基于手的位置点计算手当前的运动速度、手当前的运动加速度、手的面积、位置点的深度值等中的至少一项（其计算方法是本领域中公知的，在此不再赘述），以用于后续帧中手位置的确定，从而实现手的跟踪。

以上描述了根据本发明实施例的基于深度图像的手定位方法。在该方法中，利用主方向查找手的顶端边缘点，并基于顶端边缘点确定手的真实位置。按照该方法，即使手不在预测的手候选区域内（例如手候选区域被错误地定位到胳膊上），也能查找出手的顶端边缘点，因此具有良好的适应性。另外，该方法中不使用手的形状信息，因此适合于多种手形状，能够满足手姿态多变的特点。此外，该方法基于深度图来确定位置，因此受光照影响小。

值得一提的是，实际上，根据本发明实施例的基于深度图像的手定位方法也可以用来检测手指的位置，特别是在手指相互分开的情况下，该方法可以获得较好的效果。具体的，能够理解，在手指相互分开的情况下，通过应用根据本发明实施例的手定位方法中的步骤S210和S220，将会检测出各手指的顶端边缘点以及相邻手指的连接点（例如，手指分叉处）。随后，可以设定适当的阈值，滤除相邻手指的连接点。然后，对于每个手指的多个顶端边缘点，可以计算其均值位置点，作为该手指的位置。

下面参考图8描述根据本发明实施例的基于深度图像的手定位设备。

图8示出了根据本发明实施例的基于深度图像的手定位设备800的功能配置框图。

如图8所示，手定位设备800可以包括：主方向确定装置810，用于确定基于深度图像预测的手候选区域的主方向；边缘点查找装置820，用于沿所述主方向查找手的顶端边缘点；以及位置点确定装置830，用于基于各个所述顶端边缘点确定手的位置点。

上述主方向确定装置810、边缘点查找装置820以及位置点确定装置830的具体功能和操作可以参考上述图1到图7的相关描述，此处不再重复描述。

下面参考图9描述根据本发明实施例的基于深度图像的手定位***900的总体硬件框图。如图9所示，手定位***900可以包括：输入设备910，用于从外部输入有关图像或信息，例如摄像机拍摄的左图像和右图像、摄像机的参数、深度图、手先前的运动参数等，该输入设备例如可以是键盘、鼠标、摄像机等等；处理设备920，用于实施上述的按照本发明实施例的基于深度图的手定位方法，或者实施为上述的手定位装置，该处理设备例如可以是计算机的中央处理器或其它的具有处理能力的芯片等等；输出设备930，用于向外部输出实施上述手定位过程所得到的结果，例如确定的位置点坐标、手的运动轨迹等等，该输出设备例如可以是显示器、打印机等等；以及存储设备940，用于以易失或非易失的方式存储上述手定位过程所涉及的诸如深度图、手的候选区域图、先前帧手的位置点、先前帧手的运动速度、手的面积、历史运动信息、手当前的位置点、当前的运动速度、当前的位置点的深度值等数据，该存储设备例如可以是随机存取存储器（RAM）、只读存储器（ROM）、硬盘、或半导体存储器等等的各种易失或非易失性存储器。

以上结合具体实施例描述了本发明的基本原理，但是，需要指出的是，对本领域的普通技术人员而言，能够理解本发明的方法和装置的全部或者任何步骤或者部件，可以在任何计算装置（包括处理器、存储介质等）或者计算装置的网络中，以硬件、固件、软件或者它们的组合加以实现，这是本领域普通技术人员在阅读了本发明的说明的情况下运用他们的基本编程技能就能实现的。

因此，本发明的目的还可以通过在任何计算装置上运行一个程序或者一组程序来实现。所述计算装置可以是公知的通用装置。因此，本发明的目的也可以仅仅通过提供包含实现所述方法或者装置的程序代码的程序产品来实现。也就是说，这样的程序产品也构成本发明，并且存储有这样的程序产品的存储介质也构成本发明。显然，所述存储介质可以是任何公知的存储介质或者将来所开发出来的任何存储介质。

还需要指出的是，在本发明的装置和方法中，显然，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本发明的等效方案。并且，执行上述系列处理的步骤可以自然地按照说明的顺序按时间顺序执行，但是并不需要一定按照时间顺序执行。某些步骤可以并行或彼此独立地执行。

上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，取决于设计要求和其他因素，可以发生各种各样的修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

Claims (10)

1.一种基于深度图像的手定位方法，包括：

确定基于深度图像获取的手候选区域的主方向；

沿所述主方向查找手的顶端边缘点；

基于各个所述顶端边缘点确定手的位置点。

2.根据权利要求1的手定位方法，还包括：

基于历史信息预测手的候选位置点；

基于所述候选位置点和历史深度值信息确定候选区域块；

从所述候选区域块中分割出所述手候选区域。

3.如权利要求1或2所述的手定位方法，其中所述确定基于深度图像获取的手候选区域的主方向包括：

计算所述手候选区域的主方向；

确定该主方向与前一帧图像中手的主方向的差异值；

在所述差异值大于预定阈值的情况下，基于前预定帧图像中手的主方向对所述手候选区域的主方向进行调整。

4.如权利要求2所述的手定位方法，其中沿所述主方向查找手的顶端边缘点包括：

确定与所述主方向垂直的第一直线；

在以该第一直线的预定范围内的多个预定点为各自的起始点、沿所述主方向延伸的多条直线中的每一条直线上，查找一个所述顶端边缘点。

5.如权利要求4所述的手定位方法，其中所述第一直线经过所述候选位置点，所述预定范围为第一直线上位于所述候选区域块中的部分。

6.如权利要求4或5所述的手定位方法，其中所述查找一个所述顶端边缘点包括：

从所述起始点开始，计算该直线上每两个相邻像素点之间的深度值差异，并且将所述深度值差异大于预定阈值的两个相邻像素点中距所述起始点较近的像素点作为顶端边缘点。

7.如权利要求6所述的手定位方法，其中所述查找一个所述顶端边缘点还包括：

计算所述顶端边缘点与上一帧图像的位置点之间的空间距离，并且在该空间距离超出预定阈值范围的情况下，将该顶端边缘点作为噪声边缘点。

8.如权利要求1或2所述的手定位方法，其中所述基于各个所述顶端边缘点确定手的位置点包括：

计算各个所述顶端边缘点的均值位置点；

基于该均值位置点和所述主方向，确定手的位置点。

9.如权利要求1所述的手定位方法，还包括基于所述手的位置点确定以下的至少一项：手当前的运动速度、手当前的运动加速度、手的面积、所述位置点的深度值。

10.一种基于深度图像的手定位设备,包括：

主方向确定装置，用于确定基于深度图像预测的手候选区域的主方向；

边缘点查找装置，用于沿所述主方向查找手的顶端边缘点；

位置点确定装置，用于基于各个所述顶端边缘点确定手的位置点。