CN115202530A - 一种用户界面的手势交互方法和*** - Google Patents

Abstract

本申请涉及一种用户界面的手势交互方法和***，其中，该方法包括：通过将用户界面进行区域划分，得到手势识别区域和非手势识别区域；根据获取到的用户手势，通过手势识别区域进行手势交互，其中，用户手势通过人体骨骼识别获取；在该非手势识别区域显示计划内容的流程节点，根据该手势识别区域的手势交互结果确定该流程节点的显示状态。通过本申请，解决了一般人机交互需要依赖物理媒介的问题，减少了非必要的物理设备所造成的成本消耗，实现了基于手势识别的用户界面交互，使交互形式变得更加方便智能。

Description

一种用户界面的手势交互方法和***

技术领域

本申请涉及计算机技术领域，特别是涉及一种用户界面的手势交互方法和***。

背景技术

目前，伴随着计算机视觉的发展和在生活实践中的广泛应用，基于各种算法的行为检测和动作识别项目在实践中得到了越来越多的应用，并在相关领域得到了广泛的研究。在行为监测方面，不仅仅有通过图形、温湿度、声音等信息进行蜂群行为的监测，同时更多的应用是集中在人类行为监测上。而人体骨骼识别作为行为监测重要参考依据在视频捕捉、计算机图形学等领域得到了广泛应用。

在一般的人机交互场景下，用户需要通过特定的物理媒介来实现与智能电子设备的交互，如：通过电视遥控器进行频道的切换和音量的调节等，通过键盘鼠标进行信息的输入和选择等，通过游戏手柄调节游戏参数和控制游戏人物等。上述人体骨骼识别为解决人机交互需要基于物理媒介的问题提供了一种全新的思路。

目前针对相关技术中一般人机交互需要依赖物理媒介的问题，尚未提出有效的解决方案。

发明内容

本申请实施例提供了一种用户界面的手势交互方法和***，以至少解决相关技术中一般人机交互需要依赖物理媒介的问题。

第一方面，本申请实施例提供了一种用户界面的手势交互方法，所述方法包括：

将用户界面进行区域划分，得到手势识别区域和非手势识别区域；

根据获取到的用户手势，通过所述手势识别区域进行手势交互，其中，所述用户手势通过人体骨骼识别获取；

在所述非手势识别区域显示计划内容的流程节点，根据所述手势识别区域的手势交互结果确定所述流程节点的显示状态。

在其中一些实施例中，所述方法包括：

所述第一手势识别区域和所述第二手势识别区域存在识别优先级；

在设置所述识别优先级相同的情况下，同时执行所述第一手势识别区域的手势交互和所述第二手势识别区域的手势交互；

在设置所述识别优先级不同的情况下，优先执行所述第二手势识别区域的手势交互，再执行所述第一手势识别区域的手势交互。在其中一些实施例中，根据获取到的用户手势，通过所述手势识别区域进行手势交互包括：

将所述手势识别区域进一步划分成第一手势识别区域和第二手势识别区域；

根据获取到的用户手势，通过所述第一手势识别区域对所述流程节点对应的分支选项进行手势交互；

根据获取到的用户手势，通过所述第二手势识别区域进行基于功能交互手势的手势交互。

在其中一些实施例中，根据获取到的用户手势，通过所述第一手势识别区域对所述流程节点对应的分支选项进行手势交互包括：

当检测到用户对流程节点的分支选项做出触碰手势的情况下，按预设尺寸放大所述分支选项，并显示对应的时间进度，在所述时间进度执行完毕后，完成所述流程节点的手势交互。

在其中一些实施例中，根据获取到的用户手势，通过所述第二手势识别区域进行基于功能交互手势的手势交互包括：

所述功能交互手势包括返回手势，在非第一个流程节点的流程节点中，当检测到用户做出返回手势的情况下，从当前流程节点返回到上一流程节点。

在其中一些实施例中，当检测到用户做出返回手势的情况下，从当前流程节点返回到上一流程节点包括：

当检测到用户做出返回手势的情况下，显示所述返回手势的时间进度，在所述时间进度执行完毕后，从当前流程节点返回到上一流程节点。

在其中一些实施例中，根据获取到的用户手势，通过所述第二手势识别区域进行基于功能交互手势的手势交互包括：

所述功能交互手势还包括执行手势，在最后一个流程节点完成后，当检测到用户做出执行手势的情况下，执行所述计划课程。

在其中一些实施例中，所述根据所述手势识别区域的手势交互结果确定所述流程节点的显示状态包括：

在所述非手势识别区域以第一交互状态显示计划内容的当前流程节点，若所述当前流程节点已完成手势交互，则以第二交互状态显示所述当前流程节点。

在其中一些实施例中，所述第一交互状态为灰色图标状态，所述第二交互状态为高亮显示且带确认标记的图标状态。

第二方面，本申请实施例提供了一种用户界面的手势交互***，所述***包括区域划分模块、手势交互模块和显示匹配模块；

所述区域划分模块，用于将用户界面进行区域划分，得到手势识别区域和非手势识别区域；

所述手势交互模块，用于根据获取到的用户手势，通过所述手势识别区域进行手势交互，其中，所述用户手势通过人体骨骼识别获取；

所述显示匹配模块，用于在所述非手势识别区域显示计划内容的流程节点，根据所述手势识别区域的手势交互结果确定所述流程节点的显示状态。

相比于相关技术，本申请实施例提供的一种用户界面的手势交互方法和***，通过将用户界面进行区域划分，得到手势识别区域和非手势识别区域；根据获取到的用户手势，通过手势识别区域进行手势交互，其中，用户手势通过人体骨骼识别获取；在该非手势识别区域显示计划内容的流程节点，根据该手势识别区域的手势交互结果确定该流程节点的显示状态。解决了一般人机交互需要依赖物理媒介的问题，减少了非必要的物理设备所造成的成本消耗，实现了基于手势识别的用户界面交互，使交互形式变得更加方便智能。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例的用户界面的手势交互方法的步骤流程图；

图2是根据本申请实施例的用户界面划分的示意图；

图3是根据本申请实施例的手势识别区域划分的示意图；

图4是根据本申请实施例的用户界面手势交互的示意图一；

图5是根据本申请实施例的用户界面手势交互的示意图二；

图6是根据本申请实施例的用户界面手势交互的示意图三；

图7是根据本申请实施例的显示匹配计划课程的示意图；

图8是根据本申请实施例的用户界面的手势交互***的结构框图；

图9是根据本申请实施例的电子设备的内部结构示意图。

附图说明：81、区域划分模块；82、手势交互模块；83、显示匹配模块。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、***、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

本申请实施例提供了一种用户界面的手势交互方法，图1是根据本申请实施例的用户界面的手势交互方法的步骤流程图，如图1所示，该方法包括以下步骤：

步骤S102，将用户界面进行区域划分，得到手势识别区域和非手势识别区域；

具体地，图2是根据本申请实施例的用户界面划分的示意图，如图2所示，将用户界面划分成手势识别区域和非手势识别区域。手势识别区域和非手势识别区域显示在大屏的显示界面上，该大屏可以为电视屏幕或者投影仪的屏幕，非手势识别区域用于显示流程节点或者计划课程等，该手势识别区域用于显示用户的交互过程；

步骤S104，根据获取到的用户手势，通过手势识别区域进行手势交互，其中，用户手势通过人体骨骼识别获取；该交互过程包括获取用户身体的骨骼移动信息或者手部姿态信息等，该交互过程包括通过外置摄像头或者大屏终端自带的摄像头，获取用户图像或者深度图像信息，通过该用户图像或者深度图像信息进行识别，识别出用户的骨骼移动信息或者手部姿态信息，依据该骨骼移动信息或者手部姿态信息，获取用户的交互信息显示在手势识别区域；

具体地，图3是根据本申请实施例的手势识别区域划分的示意图，如图3所示，将手势识别区域进一步划分成第一手势识别区域和第二手势识别区域；根据获取到的用户手势，通过第一手势识别区域对流程节点对应的分支选项进行手势交互；根据获取到的用户手势，通过第二手势识别区域进行基于功能交互手势的手势交互，进一步地，第一手势识别区域作用是：在流程节点内部进行交互的情况下，显示交互目标和进度；第二手势识别区域的作用是：在流程节点之间进行交互的情况下，显示交互目标和进度。

需要说明的是，第一手势识别区域和第二手势识别区域识别优先级、区域可以相同，也可以不同，例如，在第一手势识别区域和第二手势识别区域的识别区域不同的情况下，第二手势识别区域是对识别图像全区域的识别，在识别到用户的手势后，识别是否为功能交互手势，判断是否进行下一步的流程，而第一手势识别区域用于识别用户的人体骨骼是否触控了触控区域，在识别到人体骨骼触控了触控区域后，进行下一步的流程。在第一手势识别区域和第二手势识别区域的识别优先级相同的情况下，同时执行所述第一手势识别区域的手势交互和所述第二手势识别区域的手势交互，能提高识别流程的执行效率，减少手势交互的耗费的时间，如：第一手势识别区域在识别用户触控当前流程节点中分支选项对应的触控区域的同时，第二手势识别区域识别用户作出的功能交互手势，若当前当前流程节点中分支选项的时间进度比功能交互手势的时间进度先完成，则基于上一流程节点的交互结果执行功能交互手势，否则，基于当前流程节点执行功能交互手势；在识别优先级不同的情况下，第二手势识别区域的优先级大于第一手势识别区域，后台优先对识别图像中用户手势进行识别，在手势识别完之后，再识别图像中用户骨骼是否触控了触控区域进行识别，能防止识别流程执行的冲突。图4是根据本申请实施例的用户界面手势交互的示意图一，如图4所示，在第一手势识别区域设置“男”和“女”两个触控区域，后台检测识别图像中用户骨骼触控了触控区域“女”后，非手势识别区域的流程节点的对应的显示分支选项，按预设尺寸放大分支选项对应的触控区域“女”，并显示对应的时间进度，在时间进度执行完毕后，完成流程节点的手势交互。如，触碰流程节点“性别”的分支选项“女”，放大该分支选项，并显示对应的时间进度，在时间进度执行完毕后，完成“性别”的手势交互，能有效防止用户误触分支选项。

优选地，图5是根据本申请实施例的用户界面手势交互的示意图二，如图5所示，在第二手势识别区域进行手势交互中，功能交互手势包括返回手势，在非第一个流程节点的流程节点中，对识别图像在识别到用户的手势为返回手势的情况下，在第二手势识别区域显示返回手势的时间进度，在时间进度执行完毕后，从当前流程节点返回到上一流程节点。如检测到用户做出返回手势，显示返回手势的时间进度，在时间进度执行完毕后，从当前流程节点“锻炼部位”返回到上一流程节点“性别”

优选地，图6是根据本申请实施例的用户界面手势交互的示意图三，如图6所示，在第二手势识别区域进行手势交互中，功能交互手势还包括执行手势，在最后一个流程节点完成后，当检测到用户做出执行手势的情况下，显示执行手势的时间进度，在时间进度执行完毕后，执行计划课程。如，在最后一个流程节点“立即训练”完成后，当检测到用户做出执行手势的情况下，显示执行手势的时间进度，在时间进度执行完毕后，执行计划课程。

步骤S106，在该非手势识别区域显示计划内容的流程节点，根据该手势识别区域的手势交互结果确定该流程节点的显示状态该该。

需要说明的是，在非手势识别区域可以显示计划内容的部分或者所有的流程节点，当前流程节点的显示状态是由手势识别区域的手势交互结果确定的，该显示状态的变化指示用户手势交互是否完成，另外，该计划内容可以根据应用场景的不同而变化，例如，在健身计划内容的流程节点可以为健身锻炼计划的设置节点，在学习课程计划内容的流程节点可以为课程学习安排的设置节点。后台在获取到计划内容的流程节点都手势交互完成后，可以根据确定的流程节点的内容生成相应的计划课程，例如，健身计划内容生成健身锻炼课程，学习课程计划内容生成学习课程安排。

具体地，如上述图4所示，通过非手势识别区域，以第一交互状态显示手势交互的当前流程节点的显示状态若当前流程节点已完成手势交互，则以第二交互状态显示当前流程节点，其中，第一交互状态为灰色图标状态，第二交互状态为高亮显示且带确认标记的图标状态。

进一步地，图7是根据本申请实施例的显示匹配计划课程的示意图，在非手势识别区域显示的所有流程节点皆已完成手势交互的情况下，生成悬浮界面，在悬浮界面中为用户显示匹配的计划课程。

需要说明的是，通过非手势识别区域显示手势交互的流程节点，用户可以在完成部分流程节点的情况下(部分节点以第二交互状态显示，部分节点以第二交互状态显示)，生成锻炼的计划课程。用户也可以在完成全部流程节点的情况下(所有节点以第二交互状态显示)，生成锻炼的计划课程。通过本申请实施例中的步骤S102至步骤S106，解决了一般人机交互需要依赖物理媒介的问题，减少了非必要的物理设备所造成的成本消耗，实现了基于手势识别的用户界面交互，使交互形式变得更加方便智能。

需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机***中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例提供了一种用户界面的手势交互***，图8是根据本申请实施例的用户界面的手势交互***的结构框图，如图8所示，该***包括区域划分模块81、手势交互模块82和显示匹配模块83；

区域划分模块81，用于将用户界面进行区域划分，得到手势识别区域和非手势识别区域；

手势交互模块82，用于根据获取到的用户手势，通过手势识别区域进行手势交互，其中，用户手势通过人体骨骼识别获取；

显示匹配模块83，用于在非手势识别区域显示计划内容的流程节点，根据所述手势识别区域的手势交互结果确定所述流程节点的显示状态。

通过本申请实施例中的区域划分模块81、手势交互模块82和显示匹配模块83，解决了一般人机交互需要依赖物理媒介的问题，减少了非必要的物理设备所造成的成本消耗，实现了基于手势识别的用户界面交互，使交互形式变得更加方便智能。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

另外，结合上述实施例中的用户界面的手势交互方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种用户界面的手势交互方法。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该计算机设备包括通过***总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作***和计算机程序。该内存储器为非易失性存储介质中的操作***和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种用户界面的手势交互方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

在一个实施例中，图9是根据本申请实施例的电子设备的内部结构示意图，如图9所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图9所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作***、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作***和计算机程序的运行提供环境，计算机程序被处理器执行时以实现一种用户界面的手势交互方法，数据库用于存储数据。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域的技术人员应该明白，以上该实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上该实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种用户界面的手势交互方法，其特征在于，所述方法包括：

将用户界面进行区域划分，得到手势识别区域和非手势识别区域；

根据获取到的用户手势，通过所述手势识别区域进行手势交互，其中，所述用户手势通过人体骨骼识别获取；

在所述非手势识别区域显示计划内容的流程节点，根据所述手势识别区域的手势交互结果确定所述流程节点的显示状态。

2.根据权利要求1所述的方法，其特征在于，根据获取到的用户手势，通过所述手势识别区域进行手势交互包括：

将所述手势识别区域进一步划分成第一手势识别区域和第二手势识别区域；

根据获取到的用户手势，通过所述第一手势识别区域对所述流程节点对应的分支选项进行手势交互；

根据获取到的用户手势，通过所述第二手势识别区域进行基于功能交互手势的手势交互。

3.根据权利要求2所述的方法，其特征在于，所述方法包括：

所述第一手势识别区域和所述第二手势识别区域存在识别优先级；

在设置所述识别优先级相同的情况下，同时执行所述第一手势识别区域的手势交互和所述第二手势识别区域的手势交互；

在设置所述识别优先级不同的情况下，优先执行所述第二手势识别区域的手势交互，再执行所述第一手势识别区域的手势交互。

4.根据权利要求2所述的方法，其特征在于，根据获取到的用户手势，通过所述第一手势识别区域对所述流程节点对应的分支选项进行手势交互包括：

当检测到用户对流程节点的分支选项做出触碰手势的情况下，按预设尺寸放大所述分支选项，并显示对应的时间进度，在所述时间进度执行完毕后，完成所述流程节点的手势交互。

5.根据权利要求2所述的方法，其特征在于，根据获取到的用户手势，通过所述第二手势识别区域进行基于功能交互手势的手势交互包括：

所述功能交互手势包括返回手势，在非第一个流程节点的流程节点中，当检测到用户做出返回手势的情况下，从当前流程节点返回到上一流程节点。

6.根据权利要求5所述的方法，其特征在于，当检测到用户做出返回手势的情况下，从当前流程节点返回到上一流程节点包括：

当检测到用户做出返回手势的情况下，显示所述返回手势的时间进度，在所述时间进度执行完毕后，从当前流程节点返回到上一流程节点。

7.根据权利要求2所述的方法，其特征在于，根据获取到的用户手势，通过所述第二手势识别区域进行基于功能交互手势的手势交互包括：

所述功能交互手势还包括执行手势，在最后一个流程节点完成后，当检测到用户做出执行手势的情况下，执行所述计划课程。

8.根据权利要求2所述的方法，其特征在于，所述根据所述手势识别区域的手势交互结果确定所述流程节点的显示状态包括：

在所述非手势识别区域以第一交互状态显示计划内容的当前流程节点，若所述当前流程节点已完成手势交互，则以第二交互状态显示所述当前流程节点。

9.根据权利要求8所述的方法，其特征在于，所述第一交互状态为灰色图标状态，所述第二交互状态为高亮显示且带确认标记的图标状态。

10.一种用户界面的手势交互***，其特征在于，所述***包括区域划分模块、手势交互模块和显示匹配模块；

所述区域划分模块，用于将用户界面进行区域划分，得到手势识别区域和非手势识别区域；

所述手势交互模块，用于根据获取到的用户手势，通过所述手势识别区域进行手势交互，其中，所述用户手势通过人体骨骼识别获取；

所述显示匹配模块，用于在所述非手势识别区域显示计划内容的流程节点，根据所述手势识别区域的手势交互结果确定所述流程节点的显示状态。

Images