CN110334576B - 一种手部追踪方法及装置 - Google Patents

Abstract

本发明的方面涉及本发明涉及手势识别技术领域，特别是涉及一种手部追踪方法及装置。手部追踪方法包括：获取视频帧步骤，获取连续的视频帧；判断步骤，根据前一视频帧中是否有手部图像的标注，判断前一视频帧中是否检测到手部图像；单尺度局部检测步骤，根据前一视频帧中有手部图像，对当前视频帧的局部范围进行手部检测，并标注手部图像在当前视频帧中的位置；多尺度全局检测步骤，根据前一视频帧中不具有手部图像，对当前视频帧全图范围进行手部检测，并标注手部图像在当前视频帧中的位置。通过使用两种检测方式检测视频中的手部位置并进行标注，用于追踪手部图像连续的运动轨迹，有助于提高手部追踪效率，降低手部检测难度和实时运行的难度。

Description

一种手部追踪方法及装置

技术领域

本发明一般地涉及手势识别技术领域，特别是涉及一种手部追踪方法及装置。

背景技术

手势识别是不借助触摸屏等机械设备的无触人机交互的支柱技术，人们可以使用简单的手势来控制或与设备交互，让计算机理解人类的行为，是人机交互方式中的重要研究方向之一。

然而手部位置的不断确定即手部追踪正是手势识别中最困难也是最耗时的环节。区别于通用物体检测和追踪，手势识别中手部追踪的难度主要体现在三个方面：第一方面，手部的形变度高，检测难度大；第二方面，手部在摄像头视野中的移动速度快，追踪难度大；第三方面，计算资源受限，数据运行难度大。

发明内容

为了解决现有技术中存在的上述问题，本发明提供一种手部追踪方法及装置。

第一方面，本发明实施例提供一种手部追踪方法，其中，包括：获取视频帧步骤，获取连续的视频帧，包括前一视频帧和当前视频帧；判断步骤，根据前一视频帧中是否有手部图像的标注，判断前一视频帧中是否检测到手部图像；单尺度局部检测步骤，当判断前一视频帧中具有手部图像，则通过单尺度局部检测对当前视频帧的局部范围进行手部检测，并在当前视频帧中标注检测到的一个或多个手部图像在当前视频帧中的位置；多尺度全局检测步骤，当判断前一视频帧中不具有手部图像，则通过多尺度全局检测对当前视频帧全图范围进行手部检测，并在当前视频帧中标注检测到的一个或多个手部图像在当前视频帧中的位置。

在一实施例中，手部追踪方法还包括：选择主体手部图像步骤，基于单尺度局部检测步骤或多尺度全局检测步骤检测到的一个或多个手部图像，选择其中一个手部图像作为主体手部图像，并删除其余手部图像的标注。

在另一实施例中，选择主体手部图像步骤还包括：根据多个手部图像在当前视频帧中的面积大小，选择面积最大的手部图像作为主体手部图像。

在又一实施例中，选择主体手部图像步骤还包括：选择视频帧中与预设手势匹配相同的手部图像作为主体手部图像。

在一实施例中，手部追踪方法还包括：手部识别步骤，基于当前视频帧中的一个或多个手部图像，判断手部图像是否为真实的手，如判断为不是真实的手，则删除手部图像的标注。

在一实施例中，手部识别步骤还包括：根据手部图像的位置，对当前视频帧进行截取，得到截取图像，对截取图像缩放至一固定的识别尺寸范围内进行判断。

在一实施例中，单尺度局部检测步骤还包括：基于前一视频帧中手部图像的位置，对当前视频帧进行扩大截取，获取局部范围的局部图像，在局部图像中进行手部检测。

在另一实施例中，单尺度局部检测步骤还包括：对局部图像进行缩放至一固定的检测尺寸范围内进行手部检测。

第二方面，本发明实施例提供一种手部追踪装置，其中，包括：获取视频帧模块，用于获取连续的视频帧，包括前一视频帧和当前视频帧；判断模块，用于根据前一视频帧中是否有手部图像的标注，判断前一视频帧中是否检测到手部图像；单尺度局部检测模块，用于当判断前一视频帧中具有手部图像，对当前视频帧的局部范围进行手部检测，并在当前视频帧中标注检测到的一个或多个手部图像在当前视频帧中的位置；多尺度全局检测模块，用于当判断前一视频帧中不具有手部图像，对当前视频帧全图范围进行手部检测，并在当前视频帧中标注检测到的一个或多个手部图像在当前视频帧中的位置。

第三方面，本发明实施例提供一种电子设备，其中，电子设备包括：存储器，用于存储指令；以及处理器，用于调用存储器存储的指令执行第一方面的手部追踪方法。

第四方面，本发明实施例提供一种计算机可读存储介质，其中，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行第一方面的手部追踪方法。

本发明提供的一种手部追踪方法及装置，通过使用单尺度局部检测和多尺度全局检测两种检测方式检测视频中的手部位置，并将检测出的手部图像进行标注，用于追踪手部图像连续的运动轨迹，有助于提高手部追踪效率，降低手部检测难度和实时运行的难度。

附图说明

通过参考附图阅读下文的详细描述，本发明实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示出了本发明实施例提供的一种手部追踪方法示意图；

图2示出了本发明实施例提供的另一种手部追踪方法示意图；

图3示出了本发明实施例提供的另一种手部追踪方法示意图；

图4示出了本发明实施例提供的另一种手部追踪方法示意图；

图5示出了本发明实施例提供的一种手部追踪装置示意图；

图6示出了本发明实施例提供的一种电子设备示意图；

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

下面将参考若干示例性实施方式来描述本发明的原理和精神。应当理解，给出这些实施方式仅仅是为了使本领域技术人员能够更好地理解进而实现本发明，而并非以任何方式限制本发明的范围。

需要注意，虽然本文中使用“第一”、“第二”等表述来描述本发明的实施方式的不同模块、步骤和数据等，但是“第一”、“第二”等表述仅是为了在不同的模块、步骤和数据等之间进行区分，而并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。

图1为手部追踪方法10的一个实施例的流程示意图。如图1所示，该实施例方法包括：获取视频帧步骤110、判断步骤120、单尺度局部检测步骤130、多尺度全局检测步骤140。下面对图1中的各个步骤进行详细说明。

获取视频帧步骤110，获取连续的视频帧，包括前一视频帧和当前视频帧。

在本实施例中，视频帧可通过图像采集设备进行获取实时连续的视频帧，如，手机摄像头、电脑摄像头，也可通过本地数据库或者云端中进行调取一段视频，获取连续的视频帧。在一例中，使用图像采集设备进行获取图像，开启预览视频流，获取实时视频帧。在另一例中，从本地数据库或者云端中存储的的视频中获取视频帧。针对获得的连续的视频帧进行手部追踪。

判断步骤120，根据前一视频帧中是否有手部图像的标注，判断前一视频帧中是否检测到手部图像。

在本实施例中，根据获取的前一视频帧中是否具有手部图像的标注作为判断依据，判断前一视频帧中是否具有手部图像。根据判断结果选择不同的检测手段进行检测，降低检测难度。

单尺度局部检测步骤130，当判断前一视频帧中具有手部图像，则通过单尺度局部检测对当前视频帧的局部范围进行手部检测，并在当前视频帧中标注检测到的一个或多个手部图像在当前视频帧中的位置。

单尺度局部检测能够检测一定范围内的尺度即像素的手部图像。在本实施例中，根据判断前一视频帧中具有手部图像的结果检测当前视频帧。通过使用单尺度手部检测模型对当前视频帧中进行局部单尺度局部检测，其中单尺度手部检测模型可以是基于卷积神经网络的目标检测模型，参与该模型训练的手部框在像素级别上只有相对固定范围的跳动，比如：56X56到96X96，因此该模型网络结构简单，涉及检测数据量少，能够快速检测当前视频帧的局部范围内是否存在手部图像，若在局部范围内检测到手部图像，则通过方形或者圆形等位置框在当前视频帧上将检测到的所有手部图像进行标注；若未检测到手部图像，则不进行标注。当前视频帧经过单尺度局部检测后的图像作为下一视频帧判断依据，当前视频帧经过检测后的图像为下一视频帧的前一视频帧，用于进行判断，下一视频帧根据判断当前视频帧检测后的图像的结果选择检测方式。使用单尺度局部检测方式检测速度快，降低实时运行难度。

多尺度全局检测步骤140，当判断前一视频帧中不具有手部图像，则通过多尺度全局检测对当前视频帧全图范围进行手部检测，并在当前视频帧中标注检测到的一个或多个手部图像在当前视频帧中的位置。

多尺度全局检测能够检测视频帧中所有尺度的手部图像。在本实施例中，根据判断前一视频帧中不具有手部图像的结果检测当前视频帧，可以通过使用多尺度手部检测模型进行对当前视频帧进行全图范围多尺度全局检测，其中多尺度手部检测模型可以是基于卷积神经网络的目标检测模型，参与该模型训练的手部框在像素级别上有大有小，即有大手也有小手，因此具有可以同时处理多种尺度的手的能力。通过多尺度手部检测模型检测当前视频帧全图范围中是否含有手部图像，若在当前视频帧中检测到手部图像，则通过方形或者圆形等位置框在当前视频帧上将检测到的所有手部图像进行标注；若在当前视频帧中未检测到手部图像，则不进行标注。当前视频帧经过多尺度全局检测后的图像作为下一视频帧判断依据，当前视频帧经过检测后的图像为下一视频帧的前一视频帧，用于进行判断，下一视频帧根据判断当前视频帧检测后的图像的结果选择检测方式。通过使用多尺度全局检测，能够更全面的检测出当前视频帧中含有的全部手部图像。在一例中，因获取的连续的视频帧中，第一帧视频帧不具有前一视频帧，因此默认判断该第一视频帧的前一视频帧不具有手部图像，第一视频帧由多尺度全局检测进行检测。

上述实施例通过交替使用复杂程度不同的检测方式检测视频中的手部位置并对其进行标注，用于追踪手部图像连续的运动轨迹，有助于提高手部追踪效率，降低手部检测难度和实时运行的难度。

图2示出了手部追踪方法10的另一个实施例的流程示意图。如图2所示，该实施例方法还包括：选择主体手部图像步骤150，基于单尺度局部检测步骤130或多尺度全局检测步骤140检测到的一个或多个手部图像，选择其中一个手部图像作为主体手部图像，并删除其余手部图像的标注。

在一些情况下，经过单尺度局部检测或者多尺度全局检测，在当前视频帧中同时标注出多个手部图像，如在单尺度局部检测的局部范围内出现了多个手部图像，或在多尺度全局检测的视频帧全图中出现了多个手部图像，为了便于追踪手部图像，选择当前视频帧中的一只手作为主体手部图像，并保留主体手部图像中的位置框进行追踪，删除其余手部图像的标注，避免干扰追踪主体手部图像。

在一实施例中，选择主体手部图像步骤150还包括：根据多个手部图像在当前视频帧中的面积大小，选择面积最大的手部图像作为主体手部图像。经过单尺度局部检测或者多尺度全局检测，在当前视频帧中同时标注出多个手部图像，通常情况下，面积最大的手是所要检测的手，面积小的手是背景，因此选择当前视频帧中手部图像面积最大的手部图像作为主体手部图像进行追踪，能够满足通常需求，且通过此方法能够便于观察手部图像运动轨迹变化，方便追踪。

在又一实施例中，选择主体手部图像步骤150还包括：选择视频帧中与预设手势匹配相同的手部图像作为主体手部图像。选择与预先设定的手势匹配相同的手部图像作为主体手部图像并进行追踪，有利于在需要手势控制的应用中，准确追踪所需要的手部图像，提高控制效率。例如：一种密码锁是根据一段预设的手势变换进行解锁，密码锁在扫描解锁的过程中，画面背景出现了带有手部图像的海报，选择与预设的手势在视频帧中匹配相同的手部图像作为主体手部图像，进行追踪。

图3和图4示出了手部追踪方法10的另一些实施例的流程示意图。如图3和图4所示，该实施例方法还包括：手部识别步骤160，基于当前视频帧中的一个或多个手部图像，判断手部图像是否为真实的手，如判断为不是真实的手，则删除手部图像的标注。通过使用手部分类模型进行手部识别，其中手部分类模型可以是基于卷积神经网络的分类模型，用于识别单尺度局部检测或者多尺度全局检测到的手部图像是否为真实的人手，如果是真实的人手，则保留视频帧上手部图像的标注，如果不是真实的人手，则删除手部图像的标注。通过手部识别，有助于避免持续追踪误检测的假手陷入死循环。

在一例中，手部识别步骤用于选择主体手步骤之前，识别单尺度局部检测或者多尺度全局检测到的所有手部图像是否均为真实的人手，将不是真实的人手进行排除，删除假手的手部图像标注，只保留真实的手部图像，若识别出当前视频帧中手部图像的个数为零，没有真实的人手，则判定当前视频帧没有手部图像。通过手部识别，有利于在选择主体手的过程中，减少选择时间，提高手部识别准确率。

在另一例中，手部识别步骤用于选择主体手步骤之后，有助于检测主体手部图像是否为真实的手部图像。当识别主体手不是真实的人手，则判定当前视频帧没有手部图像。通过对主体手部图像进行识别，避免对假手进行追踪，提高手部追踪效率和准确性。

在一实施例中，手部识别步骤160还包括：根据手部图像的位置，对当前视频帧进行截取，得到截取图像，对截取图像缩放至一固定的识别尺寸范围内进行判断。手部识别是通过手部分类模型完成的，将截取图像缩放至统一固定的识别尺寸范围，例如：将截取图像的像素缩放到56*56至64*64像素范围内，有助于节省手部分类的时间，提高手部识别效率。

在一实施例中，单尺度局部检测步骤130还包括：基于前一视频帧中手部图像的位置，对当前视频帧进行扩大截取，获取局部范围的局部图像，在局部图像中进行手部检测。根据前一视频帧手部图像标注的位置，截取当前视频帧的局部图像，因为在视频中，短时间内手部会发生移动变化，但短时间内手的移动距离又是有限的，所以在截取当前视频帧的局部图像前，先将局部图像的范围进行扩大至单尺度局部检测能够检测到的预设范围，进行截取，检测当前视频帧中手部移动变化后的位置，例如：预设截取图像的范围128*128，上一视频帧中主体手在视频帧中的图像尺寸是56*56，则在当前视频帧中扩大到128*128进行截取，避免了对整张图进行检测，节省了检测时间，有助于提高追踪效率，降低实时运行难度。

在另一实施例中，单尺度局部检测步骤130还包括：对局部图像进行缩放至一固定的检测尺寸范围进行手部检测。将截取后的局部图像统一缩放至同一固定的检测尺寸范围，例如，将局部图像的像素缩放到56*56至96*96像素范围内，本实施例使得手部在截取后的局部图像中像素大小相对固定，有助于进一步减轻检测压力，节省检测时间。

图5示出了手部追踪装置20的示例性结构示意图。如图5所示，该实施例手部追踪装置包括：获取视频帧模块210，用于获取连续的视频帧，包括前一视频帧和当前视频帧；判断模块220，用于根据前一视频帧中是否有手部图像的标注，判断前一视频帧中是否检测到手部图像；单尺度局部检测模块230，用于当判断前一视频帧中具有手部图像，对当前视频帧的局部范围进行手部检测，并在当前视频帧中标注检测到的一个或多个手部图像在当前视频帧中的位置；多尺度全局检测模块240，用于当判断前一视频帧中不具有手部图像，对当前视频帧全图范围进行手部检测，并在当前视频帧中标注检测到的一个或多个手部图像在当前视频帧中的位置。

在一实施例中，手部追踪装置还包括：选择主体手部图像模块，用于基于单尺度局部检测模块或多尺度全局检测模块检测到的一个或多个手部图像，选择其中一个手部图像作为主体手部图像，并删除其余手部图像的标注。

在一实施例中，选择主体手部图像模块还用于根据多个手部图像在当前视频帧中的面积大小，选择面积最大的手部图像作为主体手部图像。

在一实施例中，手部追踪装置还包括：手部识别模块，用于当前视频帧中的一个或多个手部图像，判断手部图像是否为真实的手，如判断为不是真实的手，则删除手部图像的标注。

在一实施例中，手部识别模块还用于根据手部图像的位置，对当前视频帧进行截取，得到截取图像，对截取图像缩放至一固定的识别尺寸范围内进行判断。

在一实施例中，单尺度局部检测模块还用于根据前一视频帧中手部图像的位置，对当前视频帧进行扩大截取，获取局部范围的局部图像，在局部图像中进行手部检测。

在一实施例中，单尺度局部检测模块还用于对局部图像进行缩放至一固定的检测尺寸范围内进行手部检测。

装置中的各个模块所实现的功能与上文描述的方法中的步骤相对应，其具体实现和技术效果请参见上文对于方法步骤的描述，在此不再赘述。

如图6所示，本发明的一个实施方式提供了一种电子设备30。其中，该电子设备30包括存储器310、处理器320、输入/输出(Input/Output，I/O)接口330。其中，存储器310，用于存储指令。处理器320，用于调用存储器310存储的指令执行本发明实施例的用于手部追踪方法。其中，处理器320分别与存储器310、I/O接口330连接，例如可通过总线***和/或其他形式的连接机构(未示出)进行连接。存储器310可用于存储程序和数据，包括本发明实施例中涉及的用于手部追踪的程序，处理器320通过运行存储在存储器310的程序从而执行电子设备30的各种功能应用以及数据处理。

本发明实施例中处理器320可以采用数字信号处理器(Digital SignalProcessing，DSP)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)、可编程逻辑阵列(Programmable Logic Array，PLA)中的至少一种硬件形式来实现，所述处理器320可以是中央处理单元(Central Processing Unit，CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元中的一种或几种的组合。

本发明实施例中的存储器310可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(Random Access Memory，RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(Read-OnlyMemory，ROM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，HDD)或固态硬盘(Solid-State Drive，SSD)等。

本发明实施例中，I/O接口330可用于接收输入的指令(例如数字或字符信息，以及产生与电子设备30的用户设置以及功能控制有关的键信号输入等)，也可向外部输出各种信息(例如，图像或声音等)。本发明实施例中I/O接口330可包括物理键盘、功能按键(比如音量控制按键、开关按键等)、鼠标、操作杆、轨迹球、麦克风、扬声器、和触控面板等中的一个或多个。

在一些实施方式中，本发明提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，计算机可执行指令在由处理器执行时，执行上文所述的任何方法。

尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。

本发明的方法和装置能够利用标准编程技术来完成，利用基于规则的逻辑或者其他逻辑来实现各种方法步骤。还应当注意的是，此处以及权利要求书中使用的词语“装置”和“模块”意在包括使用一行或者多行软件代码的实现和/或硬件实现和/或用于接收输入的设备。

此处描述的任何步骤、操作或程序可以使用单独的或与其他设备组合的一个或多个硬件或软件模块来执行或实现。在一个实施方式中，软件模块使用包括包具计算机程序代码的计算机可读介质的计算机程序产品实现，其能够由计算机处理器执行用于执行任何或全部的所描述的步骤、操作或程序。

出于示例和描述的目的，已经给出了本发明实施的前述说明。前述说明并非是穷举性的也并非要将本发明限制到所公开的确切形式，根据上述教导还可能存在各种变形和修改，或者是可能从本发明的实践中得到各种变形和修改。选择和描述这些实施例是为了说明本发明的原理及其实际应用，以使得本领域的技术人员能够以适合于构思的特定用途来以各种实施方式和各种修改而利用本发明。

Claims (11)

1.一种手部追踪方法，其中，包括：

获取视频帧步骤，获取连续的视频帧，包括前一视频帧和当前视频帧；

判断步骤，根据所述前一视频帧中是否有手部图像的标注，判断所述前一视频帧中是否检测到手部图像；

单尺度局部检测步骤，当判断所述前一视频帧中具有所述手部图像，则通过单尺度局部检测对所述当前视频帧的局部范围进行手部检测，并在所述当前视频帧中标注检测到的一个或多个所述手部图像在所述当前视频帧中的位置，所述单尺度局部检测用于检测尺度为固定范围内的手部图像；

多尺度全局检测步骤，当判断所述前一视频帧中不具有所述手部图像，则通过多尺度全局检测对所述当前视频帧全图范围进行手部检测，并在所述当前视频帧中标注检测到的一个或多个所述手部图像在所述当前视频帧中的位置，所述多尺度全局 检测用于同时检测多种尺度范围内的手部图像。

2.根据权利要求1所述的方法，其中，所述方法还包括：

选择主体手部图像步骤，基于所述单尺度局部检测步骤或所述多尺度全局检测步骤检测到的一个或多个所述手部图像，选择其中一个所述手部图像作为主体手部图像，并删除其余所述手部图像的标注。

3.根据权利要求2所述的方法，其中，所述选择主体手部图像步骤还包括：根据多个所述手部图像在所述当前视频帧中的面积大小，选择面积最大的所述手部图像作为所述主体手部图像。

4.根据权利要求2所述的方法，其中，所述选择主体手部图像步骤还包括：选择所述视频帧中与预设手势匹配相同的所述手部图像作为所述主体手部图像。

5.根据权利要求1至4任一项所述的方法，其中，所述方法还包括：手部识别步骤，基于所述当前视频帧中的一个或多个所述手部图像，判断所述手部图像是否为真实的手，如判断为不是真实的手，则删除所述手部图像的标注。

6.根据权利要求5所述的方法，其中，所述手部识别步骤还包括：根据所述手部图像的所述位置，对所述当前视频帧进行截取，得到截取图像，对所述截取图像缩放至一固定的识别尺寸范围内进行判断。

7.根据权利要求1所述的方法，其中，所述单尺度局部检测步骤还包括：基于所述前一视频帧中所述手部图像的位置，对所述当前视频帧进行扩大截取，获取所述局部范围的局部图像，在所述局部图像中进行所述手部检测。

8.根据权利要求7所述的方法，其中，所述单尺度局部检测步骤还包括：对所述局部图像进行缩放至一固定的检测尺寸范围内进行所述手部检测。

9.一种手部追踪装置，其中，包括：

获取视频帧模块，用于获取连续的视频帧，包括前一视频帧和当前视频帧；

判断模块，用于根据所述前一视频帧中是否有手部图像的标注，判断所述前一视频帧中是否检测到手部图像；

单尺度局部检测模块，用于当判断所述前一视频帧中具有所述手部图像，则通过单尺度局部检测对所述当前视频帧的局部范围进行手部检测，并在所述当前视频帧中标注检测到的一个或多个所述手部图像在所述当前视频帧的位置，所述单尺度局部检测用于检测尺度为固定范围内的手部图像；

多尺度全局检测模块，用于当判断所述前一视频帧中不具有所述手部图像，则通过多尺度全局检测对所述当前视频帧全图范围进行手部检测，并在所述当前视频帧中标注检测到的一个或多个所述手部图像在所述当前视频帧的位置，所述多尺度全局 检测用于同时检测多种尺度范围内的手部图像。

10.一种电子设备，其中，所述电子设备包括：

存储器，用于存储指令；以及

处理器，用于调用所述存储器存储的指令执行权利要求1-8中任一项所述的手部追踪方法。

11.一种计算机可读存储介质，其中，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令在由处理器执行时，执行权利要求1-8中任一项所述的手部追踪方法。

Images