CN114120362A

CN114120362A - 一种手势采集方法、装置、电子设备和可读存储介质

Info

Publication number: CN114120362A
Application number: CN202111392956.7A
Authority: CN
Inventors: 吕耀宇; 孙建康; 陈丽莉; 薛亚冲; 李鑫恺; 闫桂新; 张�浩
Original assignee: BOE Technology Group Co Ltd
Current assignee: BOE Technology Group Co Ltd
Priority date: 2021-11-23
Filing date: 2021-11-23
Publication date: 2022-03-01

Abstract

本发明提供一种手势采集方法、装置、电子设备和可读存储介质。手势采集方法，应用于电子设备，所述电子设备包括多个ToF图像传感器，所述方法包括以下步骤：获取针对目标对象的多个手势图像，其中，各所述手势图像是通过不同的所述ToF图像传感器采集的，且至少部分所述ToF图像传感器的光源相位不同；生成与每一所述手势图像对应的灰度图；根据多个所述灰度图生成所述目标对象的深度图像。本发明实施例通过设置多个ToF图像传感器，然后利用多个ToF图像传感器基于不同的光源相位采集灰度图，能够提高采样效率，这样，在单位时间内能够采集更多的数据，能够提高采样效率，有助于提高手势识别效果。

Description

一种手势采集方法、装置、电子设备和可读存储介质

技术领域

本发明涉及手势识别领域，尤其涉及一种手势采集方法、装置、电子设备和可读存储介质。

背景技术

基于手势识别的交互技术可以应用于不同的领域，通过赋予不同的手势以不同的语义信息，能够实现通过手势实现不同的交互或控制功能。现有的手势采集方法主要包括双目相机、结构光和ToF(Time of flight，飞行时间)等方案，其中，ToF指的是通过发射调制光线并检测对象反射的光线，根据调制光线的反射时间生成图像。然而现有的ToF手势识别方式采样效率较低。

发明内容

本发明实施例提供一种手势采集方法、装置、电子设备和可读存储介质，以解决现有的ToF手势识别方式采样效率较低的问题。

第一方面，本发明实施例提供了一种手势采集方法，应用于电子设备，所述电子设备包括多个ToF图像传感器，所述方法包括以下步骤：

获取针对目标对象的多个手势图像，其中，各所述手势图像是通过不同的所述ToF图像传感器采集的，且至少部分所述ToF图像传感器的光源相位不同；

生成与每一所述手势图像对应的灰度图；

根据多个所述灰度图生成所述目标对象的深度图像。

在一些实施例中，每一所述ToF图像传感器包括光源和光传感器，所述获取针对目标对象的多个手势图像，包括：

控制各所述ToF图像传感器的光源按照预设时间间隔依次发射调制光线；

控制各所述ToF图像传感器的光传感器按照调制光线的发射间隔采集图像数据；

根据所述ToF图像传感器的数量以高倍时钟读取所采集的图像数据生成所述目标对象的手势图像。

在一些实施例中，所述生成与每一所述手势图像对应的灰度图之后，所述方法还包括：

检测所述手势图像对应的手势类型，其中，所述手势类型包括控制手势和内容手势；

若所述手势图像对应控制手势，则输出所述手势图像的灰度图；

若所述手势图像对应内容手势，则执行所述根据多个所述灰度图生成所述目标对象的深度图像的步骤。

在一些实施例中，所述获取针对目标对象的多个手势图像之后，所述方法还包括：

检测所述手势图像中是否包含深度信息；

若所述手势图像中不包含深度信息，则根据至少一个所述灰度图提取所述手势图像对应的二维手势；

若所述手势图像中包含深度信息，则根据所述灰度图和所述深度图像提取所述手势图像对应的三维手势。

在一些实施例中，所述检测所述手势图像中是否包含深度信息，包括：

以所述手势图像中的手势作为位置基准，建立深度信息直方图；

若所述深度信息直方图中手势的深度信息量大于预设阈值，则确认所述灰度图中包含深度信息；

若所述深度信息直方图中手势的深度信息量小于或等于所述预设阈值，则确认所述灰度图中不包含深度信息。

在一些实施例中，所述生成与所述手势图像对应的灰度图，包括：

对所述手势图像进行黑电平校正；

对黑电平校正后的手势图像进行阴影校正；

对阴影校正后的手势图像进行坏点校正和几何校正；

对坏点校正和几何校正后的手势图像进行光学去畸变处理获得所述手势图像的灰度图。

在一些实施例中，所述根据多个所述灰度图生成所述手势图像的深度图像，包括：

对多个所述灰度图中包含的深度信息进行温度校正；

对温度校正后的灰度图进行像素净化处理；

对像素净化处理后的灰度图进行扭曲校正处理；

对扭曲校正处理后的灰度图进行三维滤波处理获得所述灰度图的深度图像。

第二方面，本发明实施例提供了一种手势采集装置，应用于电子设备，所述电子设备包括多个ToF图像传感器，所述手势采集装置包括：

手势图像获取模块，用于获取针对目标对象的多个手势图像，其中，各所述手势图像是通过不同的所述ToF图像传感器采集的，且至少部分所述ToF图像传感器的光源相位不同；

灰度图生成模块，用于生成与每一所述手势图像对应的灰度图；

深度图像生成模块，用于根据多个所述灰度图生成所述目标对象的深度图像。

第三方面，本发明实施例提供了一种电子设备，包括：

多个ToF图像传感器；

控制芯片，包括至少一个处理器核；

存储器及存储在所述存储器上并可在所述处理器核上运行的至少一个程序，当所述至少一个程序被所述处理器核执行时，能够实现第一方面中任一项所述的手势采集方法中的步骤。

第四方面，本发明实施例提供了一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如第一方面中任一项所述的手势采集方法中的步骤。

本发明实施例通过设置多个ToF图像传感器，然后利用多个ToF图像传感器基于不同的光源相位采集灰度图，能够提高采样效率，这样，在单位时间内能够采集更多的数据，能够提高采样效率，有助于提高手势识别效果。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获取其他的附图。

图1是本发明一实施例手势采集方法的流程图；

图2是本发明一实施例中ToF图像传感器的光源相位示意图；

图3是本发明一实施例中手势识别的示意图；

图4是本发明一实施例中深度图像的确定示意图；

图5是本发明一实施例手势采集装置的结构图；

图6是本发明一实施例中电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。不冲突的情况下，下述实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获取的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供了一种手势采集方法，应用于电子设备，电子设备包括多个ToF图像传感器。

本实施例中，电子设备可以指的是VR(Virtual Reality，虚拟现实)、AR(Augmented Reality，增强现实)、裸眼3D(3-dimension，三维)设备、可穿戴设备、智能电视、智慧屏、游戏机等电子设备，示例性的，VR或AR设备在使用过程中可以结合手势控制及手势输入，而智能电视或智慧屏在使用时，可以结合手势执行控制操作。

如图1所示，在一个实施例中，该手势采集方法包括以下步骤：

步骤101：获取针对目标对象的多个手势图像。

各手势图像是通过不同的ToF图像传感器采集的，且至少部分ToF图像传感器的光源相位不同。

可以理解的是，ToF图像传感器包括光源和光传感器，工作过程中，ToF图像传感器的光源发出特定的调制光线，然后利用光传感器采集对象反射回的调制光线形成的原始的图像数据，该原始的图像数据经过进一步处理能够获得所需的图像。

本实施例中，目标对象指的可以是控制或使用电子设备的用户。以电子设备为智能电视做示例性说明，用户可以通过手势与该智能电视进行交互，此时，目标对象指的是该用户，本实施例中具体通过智能电视上的多个ToF图像传感器采集该用户的手势图像。

至少部分ToF图像传感器的光源相位不同指的是，至少存在两个ToF图像传感器，其光源发射的调制光线的相位是不同的。

在一些实施例中，该步骤101具体包括：

如图2所示，在一个示例性的实施例中，设置了四个ToF图像传感器，且其相位均不同。实施时，为这四个ToF图像传感器的光源赋予不同的光源编号(Light id)，并控制着四个ToF图像传感器按照时间间隔△T依次发射调制光线脉冲，每个调制光线脉冲的持续时间为4△T，在每个光源发射调制光线脉冲时，该ToF图像传感器的光传感器采集反射光线获得图像数据，其中，每一光传感器可以通过设置传感器编号(Sensor id)进行识别和区分。

接下来，以高倍时钟读取图像数据，本实施例中设置了四个相位不同的ToF图像传感器，则相应的可以以四倍时钟读取图像数据，获得手势图像。

这里，四倍时钟可以理解为将读取图像数据的时钟速度调整为标准时钟的四倍，由于设置了四个ToF图像传感器，所以在单位时间内，采集的图像数据相当于标准时钟下利用一个ToF图像传感器采集的图像数据的信息量的四倍，也就是说，所获取的图像数据可以理解为标准时钟下的四个单位时间对应的图像数据。通过四倍时钟读取所获得的图像数据，可以理解为将图像数据对应的时间压缩为标准时钟下的一个单位时间，但是，其信息量变为了原来的四倍。

示例性的，某一ToF图像传感器的最高采样帧率为120fps，当设置了四个ToF图像传感器，并以四倍时钟读取图像数据，最终获得的手势图像的帧率相当于480fps。换句话说，通过该设置相位不同的ToF图像传感器，能够在单位时间内获得具有更多信息量的手势图像。

步骤102：生成与每一所述手势图像对应的灰度图。

在获得了多个手势图像之后，将各手势图像转换为灰度图。在一些实施例中，该步骤102具体包括：

对所述手势图像进行黑电平校正；

对黑电平校正后的手势图像进行阴影校正；

对阴影校正后的手势图像进行坏点校正和几何校正；

本实施例中，黑电平校正指的是将图像的最低电平调整为0。

以256灰阶做示例性说明，其中，需要理解的是，虽然0灰阶对应最低灰阶，但是一般来说，图像传感器的输出结果最小值是大于0的，示例性的，可能是10灰阶，因此，需要调整图像的结果，使最小灰阶为0，实施时，可以直接通过减法将最小灰阶置0，也可以通过插值运算或函数运算将最小灰阶置0。

阴影校正指的是校正由于镜头不均匀导致图像出现阴影的现象。坏点校正指的是对由于传感器故障、局部缺陷、灰尘等因素导致的图像坏点进行修复，几何校正指的是消除由于成像位置导致的几何变形，一般来说，通常包括梯形变形、曲面变形等。畸变指的是由于视角等光学***的影响导致的图像形变。

通过对图像进行校正处理，最终能够获得手势图像的灰度图。

在一些实施例中，获得了手势图像的灰度图之后，还包括：

检测所述手势图像对应的手势类型；

本实施例中，将手势图像的类型定义为控制手势和内容手势两种。

控制手势是指通过手势下达控制指令，实现指定的功能，常用的控制功能包括场景切换、视频播放与暂停、音量调节、轻度交互类的游戏等，这种情况下，主要目的在于识别出是哪种控制手势，以执行相应的控制操作。

内容手势是指通过手势与整体场景或场景的部分元素做深度交互，常见于场景元素的移动、视角变换、缩放等、游戏场景的触摸、击打等动作，这种情况下，不仅需要识别出是哪种手势，还可能需要实时跟踪手势的当前位置，甚至需要定位手势各个关节点，恢复出3D手势的骨骼结构等，从而实现手势交互过程。

在一个实施例中，可以基于电子设备当前的使用状态确定手势图像对应的手势类型。示例性的，对于智能电视来说，如果用户正在观看电视节目，则认为手势图像对应的手势类型为控制手势，此时，用户可以通过手势图像进行调台、音量设置等操作；又如，如果用户正在使用智能电视玩沉浸式游戏，则认为手势图像对应的手势类型为内容手势。

在另一个实施例中，还可以由用户设定当前的使用状态，示例性的，可以由用户通过按键输入或语音输入等方式选择当前的使用状态。

当手势图像对应的手势类型为控制手势时，说明用户需要基于手势输入控制指令，而对于手势的识别可以直接基于灰度图实现。此时，直接输出手势图像的灰度图，以进一步识别灰度图中包含的信息。

如图3所示，在一个实施例中，具体的，如图3中最左侧图像和左侧第二幅图所示，先基于灰度图进行特征检测，如图3中左侧第三幅图所示，进行连通域(图中圆形对应的区域)和凸包(图中直线对应的区域)的识别，从而确定连通域对应的手掌的位置和凸包对应的手指的状态，并进一步与最右侧图像所示的预设控制手势相匹配，以确定用户当前的手势。

步骤103：根据多个所述灰度图生成所述目标对象的深度图像。

当需要提取更多的信息时，则需要进一步获取手势图像的深度图像，示例性的，当手势图像对应的手势类型为内容手势时，则进行三维成像处理，具体的，基于所获得的多个ToF图像传感器对应的不同相位的灰度图通过相位解算实现，从而获得手势图像的深度图像，以进一步获取其中包含的深度信息。

在一些实施例中，该步骤103具体包括：

对多个所述灰度图中包含的深度信息进行温度校正；

对温度校正后的灰度图进行像素净化处理；

对像素净化处理后的灰度图进行扭曲校正处理；

对深度信息进行温度校准的目的在于减轻温度影响波形导致的测量结果的偏移；进行FPPN(像素净化)校准的目的在于减小由于像素点差异导致的对同一深度平面的测量误差；进行Wiggling(扭曲校正处理)校准的目的在于减小测量得到的相位差与理想相位差之间的误差；再进行3D几何滤波操作，对深度数据做平滑处理，得到手势图像的深度图像。

需要理解的是，深度信息的恢复是采用多个不同相位的灰度图中包含的灰度信息计算得到的，由于任何相位的灰度信息都可以用来做后续的二维手势识别，因此对于控制类交互，灰度图的输出速率是深度图的四倍，也相当于提升了相机采样率。

在一些实施例中，步骤101之后，所述方法还包括：

检测所述手势图像中是否包含深度信息；

本实施例中，在获得了灰度图之后，进一步检测手势图像中是否包含深度信息，深度信息可以理解为手势图像中不同对象与图像采集装置之间的相对距离。

可以理解的是，采集到的手势图像中，不仅包括“手”的图像，还可能包括一些其他内容，例如，可能包括周围的环境的图像，同时，“手”的不同位置与图像采集装置之间的距离也是不同的，因此，需要进一步检测手势图像中的深度信息。

在一些实施例中，可以通过以下步骤检测所述手势图像中是否包含深度信息：

如图4所示，基于左图所示的深度信息，以手势图像中的手的位置为基准，建立中间一幅图所示的深度信息直方图，其中，深度信息以手势区域为基准，并根据深度信息直方图中的深度信息的信息量确定该手势图像中是否包含足够多的深度信息。

需要理解的是，一般来说，手势图像中必然包括一定数量的深度信息，但是，此时，该手势图像对应的手势并不一定需要这些深度信息，示例性的，周围的环境的图像会形成没有实际含义的深度信息。

只有当深度信息的信息量大于预设阈值时，才认为该手势图像包含有用的深度信息，否则，认为该手势图像不包含深度信息。

如果确认手势图像不包含深度信息，可以基于灰度图进行手势的识别与定位。

如图4中最右侧图所示，如果确认手势图像包含深度信息，则可以进一步对手势进行分割，并确定手势图像中“手”的关节等节点的信息，从而进行三维手势的识别、还原、定位和跟踪，提高了手势交互的准确性。

本发明实施例提供了一种手势采集装置，应用于手势采集装置，所述手势采集装置包括多个ToF图像传感器。

如图5所示，所述手势采集装置500包括：

手势图像获取模块501，用于获取针对目标对象的多个手势图像，其中，各所述手势图像是通过不同的所述ToF图像传感器采集的，且至少部分所述ToF图像传感器的光源相位不同；

灰度图生成模块502，用于生成与每一所述手势图像对应的灰度图；

深度图像生成模块503，用于根据多个所述灰度图生成所述目标对象的深度图像。

在一些实施例中，每一所述ToF图像传感器包括光源和光传感器，所述手势图像获取模块501包括：

光源控制子模块，用于控制各所述ToF图像传感器的光源按照预设时间间隔依次发射调制光线；

采集控制子模块，用于控制各所述ToF图像传感器的光传感器按照调制光线的发射间隔采集图像数据；

读取子模块，用于根据所述ToF图像传感器的数量以高倍时钟读取所采集的图像数据生成所述目标对象的手势图像。

在一些实施例中，还包括：

手势类型检测模块，用于检测所述手势图像对应的手势类型，其中，所述手势类型包括控制手势和内容手势；

灰度图输出模块，用于若所述手势图像对应控制手势，则输出所述手势图像的灰度图；

所述深度图像生成模块503，用于若所述手势图像对应内容手势，则所述根据多个所述灰度图生成所述目标对象的深度图像。

在一些实施例中，还包括：

深度信息检测模块，用于检测所述手势图像中是否包含深度信息；

二维手势提取模块，用于若所述手势图像中不包含深度信息，则根据至少一个所述灰度图提取所述手势图像对应的二维手势；

三维手势提取模块，用于若所述手势图像中包含深度信息，则根据所述灰度图和所述深度图像提取所述手势图像对应的三维手势。

在一些实施例中，所述深度信息检测模块，包括：

深度信息直方图建立子模块，用于以所述手势图像中的手势作为位置基准，建立深度信息直方图；

确认子模块，用于若所述深度信息直方图中手势的深度信息量大于预设阈值，则确认所述灰度图中包含深度信息；

所述确认子模块，还用于若所述深度信息直方图中手势的深度信息量小于或等于所述预设阈值，则确认所述灰度图中不包含深度信息。

在一些实施例中，灰度图生成模块502，具体用于：

对所述手势图像进行黑电平校正；

对黑电平校正后的手势图像进行阴影校正；

对阴影校正后的手势图像进行坏点校正和几何校正；

在一些实施例中，所述深度图像生成模块503，具体用于：

对多个所述灰度图中包含的深度信息进行温度校正；

对温度校正后的灰度图进行像素净化处理；

对像素净化处理后的灰度图进行扭曲校正处理；

本发明实施例提供了一种电子设备。

如图6所示，在一个实施例中，该电子设备包括：

多个ToF图像传感器610；

控制芯片620，包括至少一个处理器核；

在一些实施例中，上述手势采集方法中各步骤可以在集成的控制芯片620(IC)的控制下实现。

如图6所示，本实施例提供了一种控制芯片620，该控制芯片620包括多个处理器核(IP核)，以实现手势识别功能。

在一些实施例中，该控制芯片620具体包括控制模块621、图像处理模块622和手势识别跟踪模块623三个IP核。

图像处理模块622用于根据ToF图像传感器610采集到的原始的图像数据进行处理，获得手势图像的灰度图和深度图像。

具体的，在对图像数据进行第一次处理之后，能够获得手势图像的灰度图，此时，可以进一步确定手势图像的手势类型为控制手势还是内容手势，如果该是控制手势，则可以直接输出灰度图，如果是内容手势，则进一步基于灰度图通过第二次处理获得深度图像。

手势识别跟踪模块623在对图像进行预处理之后，进行手部特征提取，其中，预处理的过程通常包括高斯滤波、灰度(gamma)校正等，进一步的，可以基于现有的或改进的算法，例如Haar(一种特征描述算子)、SURF(一种特征提取算法)等进行手部特征提取。

在提取了手部特征之后，进一步确定其中是否包含深度信息，以确定进行二维手势处理还是进行三维手势处理。

具体的，如果不包含深度信息，则可以基于灰度图进行手势检测与定位，对手势图形进行二维手势的识别与分类。如果包含深度信息，则进一步结合深度图像，进行手势分割和关节的提取，从而实现三维手势的定位与跟踪。

手势识别跟踪模块623的处理结果进一步的可以发送至中央处理器(CPU)以执行控制操作或发送至后端，具体可以是显示屏和GPU(图像处理器)630，以将识别结果渲染至显示装置，实现手势的交互。

控制模块621用于基于手势识别跟踪模块623对于手势的识别结果生成控制信号，控制ToF图像传感器610进行图像采集，具体的，可以包括对于ToF图像传感器610的光源的相位的控制等。

在控制模块621的控制下，ToF图像传感器610采集原始的图像数据，并发送至图像处理模块622进行图像处理。本实施例的技术方案提高了相机采样率，缩短了图像处理与手势识别处理时长。

相关技术中，ToF图像传感器采集原始的图像数据之后，需要将原始数据发送至CPU使用FPGA(现场可编程逻辑门阵列)，或专用的深度解算芯片，如IntelMyriad等，对原始数据作处理，获得灰度图和深度图；也就是说，现有的所有手势识别过程都是在CPU内部完成的，计算手势识别结果，并输出到后端的GPU和屏幕端做渲染和显示，因此，现有的手势识别过程整体架构的链路长，延时高，交互存在延迟。

本实施例通过一体化的控制芯片设计，缩短了数据传输链路，降低了整体延时，满***互的实时性要求。

本发明实施例提供了一种可读存储介质，用于存储程序，所述程序被处理器执行时实现如上述任一项所述的手势采集方法中的步骤。

本实施例的电子设备和可读存储介质能够实现上述手势采集方法实施例的各个步骤，并能实现基本相同或相似的技术效果，此处不再赘述。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims

1.一种手势采集方法，其特征在于，应用于电子设备，所述电子设备包括多个ToF图像传感器，所述方法包括以下步骤：

生成与每一所述手势图像对应的灰度图；

根据多个所述灰度图生成所述目标对象的深度图像。

2.根据权利要求1所述的方法，其特征在于，每一所述ToF图像传感器包括光源和光传感器，所述获取针对目标对象的多个手势图像，包括：

3.根据权利要求1所述的方法，其特征在于，所述生成与每一所述手势图像对应的灰度图之后，所述方法还包括：

4.根据权利要求3所述的方法，其特征在于，所述获取针对目标对象的多个手势图像之后，所述方法还包括：

检测所述手势图像中是否包含深度信息；

5.根据权利要求4所述的方法，其特征在于，所述检测所述手势图像中是否包含深度信息，包括：

6.根据权利要求1至5中任一项所述的方法，其特征在于，所述生成与所述手势图像对应的灰度图，包括：

对所述手势图像进行黑电平校正；

对黑电平校正后的手势图像进行阴影校正；

对阴影校正后的手势图像进行坏点校正和几何校正；

7.根据权利要求1至5中任一项所述的方法，其特征在于，所述根据多个所述灰度图生成所述手势图像的深度图像，包括：

对多个所述灰度图中包含的深度信息进行温度校正；

对温度校正后的灰度图进行像素净化处理；

对像素净化处理后的灰度图进行扭曲校正处理；

8.一种手势采集装置，其特征在于，应用于电子设备，所述电子设备包括多个ToF图像传感器，所述手势采集装置包括：

9.一种电子设备，其特征在于，包括：

多个ToF图像传感器；

控制芯片，包括至少一个处理器核；

存储器及存储在所述存储器上并可在所述处理器核上运行的至少一个程序，当所述至少一个程序被所述处理器核执行时，能够实现如权利要求1至7中任一项所述的手势采集方法中的步骤。

10.一种可读存储介质，用于存储程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的手势采集方法中的步骤。