CN109753154A - 有屏设备的手势控制方法和装置 - Google Patents

有屏设备的手势控制方法和装置 Download PDF

Info

Publication number
CN109753154A
CN109753154A CN201811645734.XA CN201811645734A CN109753154A CN 109753154 A CN109753154 A CN 109753154A CN 201811645734 A CN201811645734 A CN 201811645734A CN 109753154 A CN109753154 A CN 109753154A
Authority
CN
China
Prior art keywords
gesture operation
screen equipment
default
gesture
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811645734.XA
Other languages
English (en)
Other versions
CN109753154B (zh
Inventor
陈果果
钟镭
陈轶博
宋愷晟
李璇
关岱松
张静雅
李思琪
刘星彤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Shanghai Xiaodu Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201811645734.XA priority Critical patent/CN109753154B/zh
Publication of CN109753154A publication Critical patent/CN109753154A/zh
Application granted granted Critical
Publication of CN109753154B publication Critical patent/CN109753154B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • User Interface Of Digital Computer (AREA)

Abstract

本申请实施例公开了有屏设备的手势控制方法和装置。该方法的一具体实施方式包括:检测对有屏设备进行控制的手势操作;响应于检测到手势操作是指示对有屏设备进行浏览控制的预设手势操作,生成与预设手势操作对应的浏览控制指令。该实施方式实现了更灵活的有屏设备浏览控制。

Description

有屏设备的手势控制方法和装置
技术领域
本申请实施例涉及计算机技术领域,具体涉及人机交互领域,尤其涉及有屏设备的手势控制方法和装置。
背景技术
非接触式人机交互是一种方便、操控灵活性较强的人机交互方式。在非接触式人机交互中,由于用户与电子设备之间的相对位置受限较小,更符合用户的便捷操控需求,被应用在智慧生活、智能办公等各个领域。
有屏设备的人机交互方式包括通过附加的无线发射装置(例如遥控器)的交互和语音交互。基于附加装置的交互方式中按键(包括虚拟按键)较多,依赖于有屏设备界面的设计,操作步长较长,且操作时需要将注意力从有屏设备转移到遥控器,操作效率有待提升。语音交互可以解析出用户意图并直接提供用户希望获取的内容。但语音交互在一些场景中不适用,例如环境声音嘈杂或有屏设备播放的多媒体声音较大的场景。
发明内容
本申请实施例提出了有屏设备的手势控制方法和装置。
第一方面,本申请实施例提供了一种有屏设备的手势控制方法,包括:检测对有屏设备进行控制的手势操作;响应于检测到手势操作是指示对有屏设备进行浏览控制的预设手势操作,生成与预设手势操作对应的浏览控制指令。
在一些实施例中,上述响应于检测到手势操作是指示对有屏设备进行浏览控制的预设手势操作,生成与预设手势操作对应的浏览控制指令,包括:响应于检测到手势操作是指示点击有屏设备呈现的浏览对象的第一预设手势操作,生成与第一预设手势操作对应的点击指令。
在一些实施例中,上述响应于检测到手势操作是指示对有屏设备进行浏览控制的预设手势操作,生成与预设手势操作对应的浏览控制指令,还包括:将手势操作对应的手部位置映射至有屏设备显示屏所显示的界面上,在映射得到的位置与预设的可点击对象的位置一致时,在映射得到的位置呈现点击提示标识。
在一些实施例中,上述响应于检测到手势操作是指示对有屏设备进行浏览控制的预设手势操作,生成与预设手势操作对应的浏览控制指令,包括:响应于检测到手势操作是指示切换有屏设备呈现的浏览对象的第二预设手势操作,生成与第二预设手势操作对应的浏览对象切换指令。
在一些实施例中,上述第二预设手势操作包括以手腕为原点,沿预设方向旋转手掌的手掌扇动操作;生成与第二预设手势操作对应的浏览对象切换指令,包括:生成呈现沿手掌扇动方向的下一页面的浏览对象的指令。
在一些实施例中,上述响应于检测到手势操作是指示切换有屏设备呈现的浏览对象的第二预设手势操作,生成与第二预设手势操作对应的浏览对象切换指令,包括:响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,生成与第二预设手势操作对应的返回控制指令。
在一些实施例中,上述响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,生成与第二预设手势操作对应的返回控制指令,包括:响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,且第二手势操作的手势持续时间超过预设的时间阈值,生成返回至主页面的返回控制指令;响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,且第二手势操作的手势持续时间不超过预设的时间阈值,生成返回至当前浏览页面的上一级页面的返回控制指令。
在一些实施例中,上述响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,生成与第二预设手势操作对应的返回控制指令,包括:响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,且手势操作对应的手部位置在有屏设备的显示屏上的投影位置在预设的对应于返回控制操作的操控区域内,生成与第二预设手势操作对应的返回控制指令。
在一些实施例中,上述方法还包括:响应于检测到用于指示唤醒有屏设备的手势识别***的预设手势操作,唤醒有屏设备的手势识别***。
第二方面,本申请实施例提供了一种有屏设备的手势控制装置,包括:检测单元,被配置为检测对有屏设备进行控制的手势操作;生成单元,被配置为响应于检测到手势操作是指示对有屏设备进行浏览控制的预设手势操作,生成与预设手势操作对应的浏览控制指令。
在一些实施例中,上述生成单元进一步被配置为:响应于检测到手势操作是指示点击有屏设备呈现的浏览对象的第一预设手势操作,生成与第一预设手势操作对应的点击指令。
在一些实施例中,上述生成单元还被配置为:将手势操作对应的手部位置映射至有屏设备显示屏所显示的界面上,在映射得到的位置与预设的可点击对象的位置一致时,在映射得到的位置呈现点击提示标识。
在一些实施例中,上述生成单元被配置为:响应于检测到手势操作是指示切换有屏设备呈现的浏览对象的第二预设手势操作,生成与第二预设手势操作对应的浏览对象切换指令。
在一些实施例中,上述第二预设手势操作包括以手腕为原点,沿预设方向旋转手掌的手掌扇动操作;生成单元进一步被配置为按照如下方式生成与第二预设手势操作对应的浏览对象切换指令:生成呈现沿手掌扇动方向的下一页面的浏览对象的指令。
在一些实施例中,上述生成单元进一步被配置为:响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,生成与第二预设手势操作对应的返回控制指令。
在一些实施例中,上述生成单元进一步被配置为:响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,且第二手势操作的手势持续时间超过预设的时间阈值,生成返回至主页面的返回控制指令;响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,且第二手势操作的手势持续时间不超过预设的时间阈值,生成返回至当前浏览页面的上一级页面的返回控制指令。
在一些实施例中,上述生成单元进一步被配置为:响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,且手势操作对应的手部位置在有屏设备的显示屏上的投影位置在预设的对应于返回控制操作的操控区域内,生成与第二预设手势操作对应的返回控制指令。
在一些实施例中,上述装置还包括:唤醒单元,被配置为响应于检测到用于指示唤醒有屏设备的手势识别***的预设手势操作,唤醒有屏设备的手势识别***。
第三方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;显示装置;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如第一方面提供的有屏设备的手势控制方法。
第四方面,本申请实施例提供了一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现第一方面提供的有屏设备的手势控制方法。
本申请上述实施例的有屏设备的手势控制方法和装置,通过检测对有屏设备进行控制的手势操作,响应于检测到手势操作是指示对有屏设备进行浏览控制的预设手势操作,生成与预设手势操作对应的浏览控制指令,不依赖于附加设备及多轮交互,实现了更灵活的有屏设备浏览控制。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是本申请实施例可以应用于其中的示例性***架构图;
图2是根据本申请的有屏设备的手势控制方法的一个实施例的流程图;
图3是根据本申请的有屏设备的手势控制方法的另一个实施例的流程图;
图4A-图4C是图3所示有屏设备的手势控制方法中的一种手势操作的示意图;
图5是根据本申请的有屏设备的手势控制方法的又一个实施例的流程图;
图6A-图6D是图5所示有屏设备的手势控制方法中的一种手势操作的示意图;
图7是根据本申请的有屏设备的手势控制方法的再一个实施例的流程图;
图8A-图8C是图7所示有屏设备的手势控制方法中的一种手势操作的示意图;
图9是本申请的有屏设备的手势控制装置的一个实施例的结构示意图;
图10是适于用来实现本申请实施例的电子设备的计算机***的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了可以应用本申请的有屏设备的手势控制方法或有屏设备的手势控制装置的示例性***架构。
如图1所示,***架构100可以包括有屏设备110以及服务器120。有屏设备110可以通过网络与服务器120进行交互,以接收或发送消息等。有屏设备110可以是具有显示屏的电子设备,例如智能电视、智能显示屏、带屏智能音箱等。有屏设备上可以安装有各种人机交互应用,例如浏览器应用、搜索应用、多媒体资源播放应用,等等。
用户130可以使用有屏设备110与服务器120交互,以获取服务器120提供的服务。用户130可以采用多种方式控制有屏设备110向服务器120发起服务请求,例如非接触的手势交互方式、语音交互方式、辅助设备(例如遥控器)交互方式等。
有屏设备110上可以设置有人体动作感知设备111,例如基于可见光或红外光的图像采集设备、基于激光、声波等信息的测距设备或用于三维建模的设备。人体动作感知设备111可以采集人体动作信息,将人体动作信息传输至有屏设备110的处理器或与有屏设备110连接的服务器120进行处理。
服务器120可以是为有屏设备110显示的内容提供内容服务器的服务器,也可以是为有屏设备110提供功能服务的服务器。服务器120可以接收有屏设备110发送的请求,对请求进行解析,根据解析结果生成响应信息,并将生成的响应信息返回给有屏设备110。有屏设备110可以输出响应信息。
需要说明的是,本申请实施例所提供的有屏设备的手势控制方法可以由有屏设备110执行,相应地,有屏设备的手势控制装置可以设置于有屏设备110中。在这些场景中,上述***架构可以不包含服务器120。
在一些场景中,本申请实施例提供的有屏设备的手势控制方法可以由与有屏设备110通信连接的服务器120执行,相应地,有屏设备的手势控制装置可以设置于与有屏设备110连接的服务器120中。
应该理解,图1中的有屏设备、服务器、用户的数目仅仅是示意性的。根据实现需要,可以具有任意数目的有屏设备、服务器、用户。
继续参考图2,其示出了根据本申请的有屏设备的手势控制方法的一个实施例的流程200。该有屏设备的手势控制方法,包括以下步骤:
步骤201,检测对有屏设备进行控制的手势操作。
在本实施例中,有屏设备的手势控制方法的执行主体(例如图1所示的有屏设备110)可以对其控制范围内的手势操作进行检测。具体可以基于设置于有屏设备上的人体动作感知设备获取的手势感知信息确定手势操作。该人体动作感知设备可以是图像采集设备、激光测距设备、超声波测距设备等,手势感知信息可以是可见光图像、红外图像、三维激光点云等信息。
以图像信息为例,上述执行主体可以获取控制范围内的手势图像,并对手势图像进行手势识别,得到手势操作的检测结果。可选地,所获取的图像中可以包含除手势外的其他信息,例如人脸信息。可以对该图像进行图像分割,分离出包含手势图像信息的部分来进行手势识别,以避免其他人体部位(例如人脸)对手势识别结果造成影响。
上述有屏设备可以设置有至少一个摄像头。该至少一个摄像头可以对有屏设备的显示屏前方的一个区域进行成像。当用户在该区域内发起手势操作时,摄像头可以采集手势操作的图像或图像序列,然后可以基于图像或图像序列来识别用户的手势类型。具体可以将手势操作的图像输入已训练的手势识别模型进行手势识别,或者可以将预先设定的各类型手势操作的动作特征作为模板,与从图像中提取出的手势操作的特征进行比对,从而确定手势操作的类型。
需要说明的是,上述摄像头的数量可以为两个以上。两个以上的摄像头可以在与有屏设备的显示屏平行的平面内并排排列。这样,还可以根据不同摄像头所采集到的手势操作的图像对用户的手势进行三维建模,得到手势操作沿与有屏设备的显示屏垂直方向的纵深信息。其中,可以对两个以上的摄像头进行标定,确定两个以上摄像头之间的位置转换参数,以在三维建模时配准两幅以上手势操作的图像。
可以采用如下方式检测对有屏设备进行控制的手势操作:首先基于采集的图像采用目标检测算法检测用户抬手动作,确定初始手部初始位置及初始手部姿态,然后根据连续采集的多幅图像确定手部位置变化轨迹即手部姿态变化特征,并确定手部位置和/或姿态发生变化的持续时间,进而确定出用户的手势操作。
在本实施例的一些可选的实现方式中,可以按照如下方式检测对有屏设备进行控制的手势操作:首先基于肤色等特征,采用边缘检测等算法检测手的位置,具体可以根据肤色特征和人体结构特征从图像中提取出手部区域。然后基于采集的视频跟踪手的位置变化,具体可以采用基于肤色的SIFT(Scale-invariant feature transform,尺度不变特征变换)特征提取算法,结合HOG(Histogram of Oriented Gradient,方向梯度直方图),采用MeanShift(均值偏移)对视频中的图像帧进行手部位置检测和跟踪,得出手部位置变化轨迹。之后检测手部在每一个位置处的关键点位置,例如手指关节的相对位置,并对手势形状进行分类,识别出手势操作。
进一步地,在识别手势操作时,可以将待识别的手势的特征参数与预先存储的手势模板的特征参数进行匹配,通过计算相似度来进行识别。或者可以采用基于统计分析的方法来识别手势,具体可以采用诸如SVM(Support Vector Machine,支持向量机)等方法,统计样本特征向量来确定手势分类器。还可以采用诸如神经网络、深度学习的方法提取手部区域、定位手部关键点位置,并对手势进行分类。在识别动态的手势操作时,还可以结合时序的图像处理、特征提取和分类技术,例如DTW(Dynamic Time Warping,动态时间规整)、CRF(conditional random field algorithm,条件随机场算法)、HMM(Hidden MarkovModel,隐马尔科夫模型)等进行匹配和识别。
在一些实施例中,可以在有屏设备的有效手势控制区域内检测手势操作。其中,有效手势控制区域可以是预先设定的有屏设备显示屏前方的一个区域。该有效手势控制区域可以是有屏显示设备的观看区域,或者是设置于有屏设备上的人体动作感知设备的可感知区域。例如,有效手势控制区域可以是有屏显示设备前方沿垂直于有屏显示设备的显示屏方向呈辐射状的三维区域。该有效手势控制区域可以是根据有屏设备的显示屏尺寸和/或摄像头的成像范围确定的。
上述手势操作可以包括静态手势操作和动态手势操作。其中,静态手势操作可以是手部姿态和位置不发生变化的手势操作,例如握拳状态的手势、双手比心的手势,等等。动态手势操作可以是手部姿态和/或位置发生变化的手势操作,例如单手食指按压动作的手势,挥手、拍掌等手势。
步骤202,响应于检测到手势操作是指示对有屏设备进行浏览控制的预设手势操作,生成与预设手势操作对应的浏览控制指令。
上述执行主体可以预存手势模板库。该手势模板库包括预设的多个用于指示对有屏设备进行浏览控制的手势操作。可以对手势操作进行识别,具体可以对采集到的手势操作的图像信息或其他信息进行特征提取,将提取出的特征与预存的手势模板库中的手势操作的特征进行匹配,得到与步骤201检测到的手势操作匹配的预设手势操作。
接着,可以查找出预设手势操作对应的浏览控制操作,生成与该预设手势操作对应浏览控制指令。在这里,浏览控制操作可以是对有屏设备在当前可视页面呈现的浏览内容进行选择的控制操作。作为示例,浏览控制操作可以包括:返回上一级、返回主页、点击呈现详情、上一页、下一页、搜索内容,等等。
上述执行主体预存的手势模板库中的手势模板可以用于指示执行预设的浏览控制操作,手势模板可以与对应的浏览控制操作关联,例如挥手的手势操作可以与滑动浏览页面的浏览控制操作相对应并关联。则在识别出用户当前的手势操作后,可以获取该手势操作所指示执行的浏览控制操作,并生成指示执行该浏览控制操作的指令。这样,通过检测并识别手势操作,可以触发生成有屏设备的浏览控制指令。有屏设备可以根据该浏览控制指令执行相应的浏览控制操作,例如滑动呈现新的浏览页面。
本申请上述实施例的应用场景可以为,用户通过手势操作来选择有屏设备呈现的内容。具体地,用户发起手势操作,有屏设备的图像采集装置等设备可以采集用户的手势图像,然后进行手势识别,根据识别结果生成该手势操作触发的浏览操控制指令。
本申请上述实施例的有屏设备的手势控制方法,通过检测对有屏设备进行控制的手势操作响应于检测到手势操作是指示对有屏设备进行浏览控制的预设手势操作,生成与预设手势操作对应的浏览控制指令,实现了基于手势对有屏设备所呈现的浏览内容的隔空控制,不依赖于附加设备且适用于环境声音较大的场景,提升了有屏设备浏览控制方式的灵活性和操作效率。
继续参考图3,其示出了根据本申请的有屏设备的手势控制方法的另一个实施例的流程图。如图3所示,本实施例的有屏设备的手势控制方法的流程300,包括以下步骤:
步骤301,检测对有屏设备进行控制的手势操作。
在本实施例中,有屏设备的手势控制方法的执行主体(例如图1所示的有屏设备110)可以对其控制范围内的手势操作进行检测。具体可以基于设置于有屏设备上的人体动作感知设备获取的手势感知信息确定手势操作。该人体动作感知设备可以是图像采集设备、激光测距设备、超声波测距设备等。
以图像信息为例,上述执行主体可以获取控制范围内的手势图像,并对手势图像进行手势识别,得到手势操作的检测结果。
上述有屏设备可以设置有至少一个摄像头。该至少一个摄像头可以对有屏设备的显示屏前方的一个区域进行成像。当用户在该区域内发起手势操作时,摄像头可以采集手势操作的图像或图像序列,然后可以基于图像或图像序列来识别用户的手势类型。具体可以将手势操作的图像输入已训练的手势识别模型进行手势识别,或者可以将预先设定的各类型手势操作的动作特征作为模板,与从图像中提取出的手势操作的特征进行比对,从而确定手势操作的类型。
上述步骤301与前述实施例的步骤201一致,步骤301的具体实现方式还可以参考前述对步骤201的描述,此处不再赘述。
步骤302,响应于检测到手势操作是指示点击有屏设备呈现的浏览对象的第一预设手势操作,生成与第一预设手势操作对应的点击指令。
在本实施例中,可以预先存储用于指示点击有屏设备呈现的浏览对象的第一预设手势操作,并判断步骤301检测到的手势操作是否与该第一预设手势操作一致。具体可以提取获取到的手势操作的特征,并与第一预设手势的特征模板进行匹配,还可以利用已训练的手势识别模型判断步骤301检测到的手势操作是否与第一预设手势操作匹配。
若步骤301检测到的手势操作与上述第一预设手势操作匹配成功,则可以生成与第一预设手势操作对应的点击指令。在这里,点击指令可以是点击有屏设备呈现的浏览对象的指令。有屏设备呈现的浏览对象可以是有屏设备所呈现的内容对象,例如搜索框、影片内容的封面、表示上一页/下一页的“<”“>”图标,等等。在生成并发出该点击指令后,对应的浏览对象被点击。若被点击的浏览对象链接至新的页面,则在生成该点击指令并执行后,可以跳转至浏览对象链接至的新页面。
通过识别手势操作是否为指示点击浏览对象的第一预设手势操作,并在手势操作是第一预设手势操作时生成点击指令,在不借助附加设备的情况下实现了有屏设备非接触式选中操作,提升了有屏设备选中操作的灵活性。
在一些实施例中,上述有屏设备的手势控制方法的流程300还可以包括:
步骤303,将手势操作对应的手部位置映射至有屏设备显示屏所显示的界面上,在映射得到的位置与预设的可点击对象的位置一致时,在映射得到的位置呈现点击提示标识。
在本实施例中,可以根据发出手势操作的用户的手部位置确定用户对有屏设备进行浏览控制操作的操作对象。具体地,当用户抬手时,可以将用户抬手时的手部位置映射至有屏设备显示屏所显示的界面上,例如可以随机选择有屏设备显示屏所显示的界面上的一个点或一个区域作为抬手时的手部位置在显示屏上的映射位置,作为用户手部的初始操作位置。然后用户可以移动手部位置和/或变换手部姿态以做出手势,用户手部位置在有屏设备显示屏所显示的界面上的映射位置也随机发生变化。当用户停止移动手部时,可以将手部位置映射至有屏设备显示屏所显示的界面上,将映射得到的位置处的浏览对象作为用户当前手势操作的操作对象。
若用户当前手势操作是上述第一预设手势操作,则可以判断用户当前手势操作的操作对象是否为预设的可点击对象。在这里,预设的可点击对象是可被点击的浏览对象,可点击对象被点击后链接至新的浏览对象或新的页面。上述执行主体可以获取各浏览对象的是否为可点击对象的属性信息,或者可以获取预先设定的可点击对象集合。根据各浏览对象的是否为可点击对象的属性信息或预先设定的可点击对象集合判断用户发出的第一预设手势操作针对的操作对象是否可在点击后链接至新的页面或其他浏览对象。
如果确定用户的手势操作对应的手部位置在有屏设备显示屏所显示的界面上的映射位置与预设的可点击对象的位置一致,可以在映射位置处呈现点击提示标识。该点击提示标识用于提示用户当前手势操作所针对的操作对象是可点击对象,可以通过点击提示标识来引导用户点击当前的操作对象。点击提示标识可以是预设的图形或文字标识,可以是手势操作对应的手部位置在有屏设备显示屏上的映射位置处的浏览对象关联呈现的标识符,例如可以是在该浏览对象(如图标)外侧的框状标识,又例如可以是在该浏览对象上叠加的一幅浮层图像,等等。
通过点击提示标识在用户执行点击手势控制时提示用户对操作对象进行点击,可以向用户提供操作反馈,以便用户判断操作对象是否为期望操作的对象,能够提升点击操控的效率。
可选地,上述指示点击有屏设备呈现的浏览对象的第一预设手势操作可以为手指点击的动态手势操作,具体可以是单指点击或两个以上手指同时点击的手势操作。图4A、图4B和图4C示出了单指点击的手势操作的示意图。图4A为单指点击的手势操作的手部静态姿势示意图。如图4A所示,单指点击的手势操作中,食指伸出,其他四指收拢。如图4B所示,有屏设备显示屏可以在手部位置的投影点展示位置提示符号来告知用户单指点击的操作位置。图4C是单指点击的手势操作的动态姿势示意图。如图4C所示,食指向靠近有屏设备显示屏的方向伸出,移动一段距离a,且移动速度位于预设的速度范围内,确定完成单指点击的动态手势操作。可选地,食指前靠近有屏设备显示屏的方向伸出前和伸出后的夹角α还需要位于预设的角度范围内,例如0°至60°,才可以确定当前的手势操作是单指点击的动态手势操作。
单指点击的手势操作操作幅度较小,不容易疲劳,且更符合用户的操控习惯,在同一页面内切换操作对象无需切换手势,可以保持手部姿势仅移动手的位置来实现操作对象的切换,操作效率更高。
可选地,上述指示点击有屏设备呈现的浏览对象的第一预设手势操作还可以是以下任意一项:食指与拇指弯曲、其他三指展开的“OK”手势、抓取、打勾“√”,等等。
进一步可选地,上述执行主体可以先获取有屏设备的手势识别***的当前工作状态,然后检测手势操作。手势识别***是有屏设备中实现手势识别及控制功能的模块。在有屏设备长时间不调用手势识别***时,手势识别***可以自动休眠。再次调起手势识别即控制功能时,需要唤醒手势识别***。可以首先确定有屏设备的手势识别***是否处于唤醒状态。若是,则可以检测手势并与第一预设手势操作进行匹配,若手势识别***处于休眠状态,则需要通过唤醒手势(例如拍掌的手势)先唤醒手势识别***,之后再对用户做出的浏览控制手势进行检测并生成相应的控制指令。
继续参考图5,其示出了根据本申请的有屏设备的手势控制方法的又一个实施例的流程图。如图5所示,本实施例的有屏设备的手势控制方法的流程500,包括以下步骤:
步骤501,检测对有屏设备进行控制的手势操作。
在本实施例中,有屏设备的手势控制方法的执行主体(例如图1所示的有屏设备110)可以对其控制范围内的手势操作进行检测。具体可以基于设置于有屏设备上的人体动作感知设备获取的手势感知信息确定手势操作。该人体动作感知设备可以是图像采集设备、激光测距设备、超声波测距设备等。
以图像信息为例,上述执行主体可以获取控制范围内的手势图像,并对手势图像进行手势识别,得到手势操作的检测结果。
上述有屏设备可以设置有至少一个摄像头。该至少一个摄像头可以对有屏设备的显示屏前方的一个区域进行成像。当用户在该区域内发起手势操作时,摄像头可以采集手势操作的图像或图像序列,然后可以基于图像或图像序列来识别用户的手势类型。具体可以将手势操作的图像输入已训练的手势识别模型进行手势识别,或者可以将预先设定的各类型手势操作的动作特征作为模板,与从图像中提取出的手势操作的特征进行比对,从而确定手势操作的类型。
上述步骤501与前述实施例的步骤201一致,步骤501的具体实现方式还可以参考前述对步骤201的描述,此处不再赘述。
步骤502,响应于检测到手势操作是指示切换有屏设备呈现的浏览对象的第二预设手势操作,生成与第二预设手势操作对应的浏览对象切换指令。
在本实施例中,可以预先存储用于指示切换有屏设备呈现的浏览对象的第二预设手势操作,并判断步骤501检测到的手势操作是否与该第二预设手势操作一致。具体可以提取获取到的手势操作的特征,并与第二预设手势的特征模板进行匹配,还可以利用已训练的手势识别模型判断步骤501检测到的手势操作是否与第二预设手势操作匹配。
若步骤501检测到的手势操作与第二预设手势操作匹配成功,则可以生成与第二预设手势操作对应的浏览对象切换指令。在这里,浏览对象切换指令可以是控制有屏设备切换所呈现的浏览对象的指令。在生成并发出该浏览对象切换指令后,有屏设备可以获取新的浏览对象并呈现。
在实践中,若当前有屏设备的手势识别***当前处于唤醒状态,且检测到用户发出的手势操作是上述第二预设手势操作,可以生成浏览对象切换指令以控制有屏设备切换呈现的浏览对象。若当前有屏设备的手势识别***处于休眠状态,则可以在检测到唤醒手势或其他唤醒指令后唤醒手势识别***,随后在手势识别***唤醒状态下检测到用户发出的手势操作是上述第二预设手势操作,生成浏览对象切换指令以控制有屏设备切换呈现的浏览对象。
通过识别手势操作是否为指示切换呈现的浏览对象的第二预设手势操作,并在手势操作是第二预设手势操作时生成浏览对象切换指令,实现了不依赖于附加设备的有屏设备非接触式浏览对象选择,提升了有屏设备浏览操控的灵活性。
可选地,上述第二预设手势操作可以包括以手腕为原点,沿预设方向旋转手掌的手掌扇动操作。这时,上述生成与第二预设手势操作对应的浏览对象切换指令的步骤可以包括:生成呈现沿手掌扇动方向的下一页面的浏览对象的指令。也就是说,可以根据手掌扇动操作中手掌扇动的方向确定有屏设备的显示屏上呈现的页面的滑动方向,例如手掌由右向左扇动,则可以确定页面向左滑动,呈现右侧的下一页面。
图6A、图6B、图6C和图6D分别示出了向右扇动(由左向右扇动)、向左扇动(由右向左扇动)、向上扇动(由下向上扇动)和向下扇动(由上向下扇动)的手掌扇动操作的示意图。其中,手掌扇动操作中手掌旋转角度为α,可选地,α在一个预设的角度范围内,例如0°<α<20°。
如图6A所示,在向右扇动的手掌扇动操作中,手腕带动手掌,以手腕为原点手掌由左向右旋转,在旋转中保持手掌内侧朝向有屏设备。在识别该手势操作时可以首先检测抬手的动作,然后识别手掌以手腕为原点向右旋转的轨迹。可选地,还可以检测手掌旋转的速度是否位于预设的速度范围内,例如0-0.5转/秒,若手掌旋转速度超出该速度范围,可以确定该手势操作不是手掌扇动操作。
图6A所示的向右扇动的手掌扇动操作的一个示例性的浏览控制场景为:在手势识别唤醒状态下,用户通过向右扇动手掌使得页面右移,呈现左侧下一页面的内容。如果手势识别***处于休眠状态,则可以通过预设的唤醒手势来唤醒手势识别***再向右扇动来呈现左侧下一页面的内容。
如图6B所示,在向左扇动的手掌扇动操作中,手腕带动手掌,以手腕为原点手掌由右向左旋转,在旋转中保持手掌内侧朝向有屏设备。在识别该手势操作时可以首先检测抬手的动作,然后识别手掌以手腕为原点向左旋转的轨迹。可选地,还可以检测手掌旋转的速度是否位于预设的速度范围内,例如0-0.5转/秒,若手掌旋转速度超出该速度范围,可以确定该手势操作不是手掌扇动操作。
图6B所示的向左扇动的手掌扇动操作的一个示例性的浏览控制场景为:在手势识别唤醒状态下,用户通过向左扇动手掌使得页面左移,呈现右侧下一页面的内容。如果手势识别***处于休眠状态,则可以通过预设的唤醒手势来唤醒手势识别***再向左扇动来呈现右侧下一页面的内容。
如图6C所示,在向上扇动的手掌扇动操作中,手腕带动手掌,以手腕为原点手掌由下向上旋转,在旋转中保持手掌内侧朝向有屏设备。在识别该手势操作时可以首先检测抬手的动作,然后识别手掌以手腕为原点向上旋转的轨迹。可选地,还可以检测手掌旋转的速度是否位于预设的速度范围内,例如0-0.5转/秒,若手掌旋转速度超出该速度范围,可以确定该手势操作不是手掌扇动操作。
图6C所示的向上扇动的手掌扇动操作的一个示例性的浏览控制场景为:在手势识别唤醒状态下,用户通过向上扇动手掌使得页面上移,呈现下方下一页面的内容。如果手势识别***处于休眠状态,则可以通过预设的唤醒手势来唤醒手势识别***再向上扇动来呈现下方的下一页面的内容。
如图6D所示,在向下扇动的手掌扇动操作中,手腕带动手掌,以手腕为原点手掌由上向下旋转,在旋转中保持手掌内侧朝向有屏设备。在识别该手势操作时可以首先检测抬手的动作,然后识别手掌以手腕为原点向下旋转的轨迹。可选地,还可以检测手掌旋转的速度是否位于预设的速度范围内,例如0-0.5转/秒,若手掌旋转速度超出该速度范围,可以确定该手势操作不是手掌扇动操作。
图6D所示的向下扇动的手掌扇动操作的一个示例性的浏览控制场景为:在手势识别唤醒状态下,用户通过向下扇动手掌使得页面下移,呈现上方下一页面的内容。如果手势识别***处于休眠状态,则可以通过预设的唤醒手势来唤醒手势识别***再向下扇动来呈现上方的下一页面的内容。
上述手掌扇动操作的操作幅度较小,不容易疲劳,且可以通过手掌轨迹识别来判断扇动方向,进而确定浏览对象呈现顺序,避免无目的、无序的浏览对象切换对浏览效率的影响。
可选地,上述指示切换呈现的浏览对象的第二预设手势操作还可以是以下任意一项:手掌朝外向左滑动、手掌朝外向右滑动、单手两个以上手指捏住状向左滑动、单手两个以上手指捏住状向右滑动、手掌伸出画圈、食指伸出其他四指合拢画圈、等等。
可选地,上述有屏设备的手势控制方法的流程500还可以包括上述流程300中的步骤302和步骤303。即在检测到手势操作之后,可以判断手势操作指示点击浏览对象或切换浏览对象,然后根据判断结果生成相应的点击指令或浏览对象切换指令。并且,在确定手势操作是第二预设手势操作时,可以响应于确定手部位置映射至显示屏界面位置处的对象为可点击对象来呈现点击提示标识。由此,提升了基于手势的有屏设备浏览控制方式的多样性和全面性。
继续参考图7,其示出了根据本申请的有屏设备的手势控制方法的再一个实施例的流程图。如图7所示,本实施例的有屏设备的手势控制方法的流程700,包括以下步骤:
步骤701,检测对有屏设备进行控制的手势操作。
在本实施例中,有屏设备的手势控制方法的执行主体(例如图1所示的有屏设备110)可以对其控制范围内的手势操作进行检测。具体可以基于设置于有屏设备上的人体动作感知设备获取的手势感知信息确定手势操作。该人体动作感知设备可以是图像采集设备、激光测距设备、超声波测距设备等。
以图像信息为例,上述执行主体可以获取控制范围内的手势图像,并对手势图像进行手势识别,得到手势操作的检测结果。
上述有屏设备可以设置有至少一个摄像头。该至少一个摄像头可以对有屏设备的显示屏前方的一个区域进行成像。当用户在该区域内发起手势操作时,摄像头可以采集手势操作的图像或图像序列,然后可以基于图像或图像序列来识别用户的手势类型。具体可以将手势操作的图像输入已训练的手势识别模型进行手势识别,或者可以将预先设定的各类型手势操作的动作特征作为模板,与从图像中提取出的手势操作的特征进行比对,从而确定手势操作的类型。
上述步骤701与前述实施例的步骤201一致,步骤701的具体实现方式还可以参考前述对步骤201的描述,此处不再赘述。
步骤702,响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,生成与第二预设手势操作对应的返回控制指令。
在本实施例中,可以预先存储用于指示切换有屏设备呈现的浏览对象的第二预设手势操作,其中,用于指示切换有屏设备呈现的浏览对象的第二预设手势操作具体为返回至上级页面的第二预设手势操作。可以判断步骤701检测到的手势操作是否与该第二预设手势操作一致。具体可以提取获取到的手势操作的特征,并与第二预设手势的特征模板进行匹配,还可以利用已训练的手势识别模型判断步骤701检测到的手势操作是否与第二预设手势操作匹配。
在这里,有屏设备中的页面可以具有相应的层级属性。页面的层级属性用于表征页面在所有页面中的层级、与其他页面的链接关系。例如有屏设备的首屏页面是最高级别的页面,首屏呈现的对象所链接至的页面为第二级页面,第二级页面中呈现的对象链接至的页面为第三级页面,依次类推。
用户在浏览过程中,如果希望切换至当前页面的上级页面进行浏览,即将浏览对象切换为上级页面的浏览对象,例如当前页面是第三级页面,希望返回至首页或第二级页面,可以发起用于指示返回上级页面的手势操作以浏览上级页面的浏览对象。这样,可以方便地实现浏览过程中返回浏览上级页面的操作控制。
在一些实施例中,可以采用一种手势的不同持续时间来区分手势操作指示返回至哪一级页面。具体地,可以按照如下方式执行步骤702:响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,且第二手势操作的手势持续时间超过预设的时间阈值,生成返回至主页面的返回控制指令;响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,且第二手势操作的手势持续时间不超过预设的时间阈值,生成返回至当前浏览页面的上一级页面的返回控制指令。
可选地,上述第二手势操作可以是手部隔空触摸屏幕的操作,例如是单个手指隔空触摸屏幕的操作,或者是多个手势隔空触摸屏幕的操作,还可以例如是手掌隔空触摸屏幕的操作。若检测到手部隔空触摸屏幕的手势持续时间超过预设的时间阈值,可以确定用户的意图是浏览主页面(即有屏设备的首屏页面),生成返回至主页面的返回控制指令;若检测到手部隔空触摸屏幕的手势持续时间超过预设的时间阈值,可以确定用户的意图是浏览当前页面的上一级页面,生成返回至上一级页面的返回控制指令。
进一步可选地,上述响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,生成与第二预设手势操作对应的返回控制指令的步骤702,还可以包括:响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,且手势操作对应的手部位置在有屏设备的显示屏上的投影位置在预设的对应于返回控制操作的操控区域内,生成与第二预设手势操作对应的返回控制指令。
图8A、图8B和图8C以指示返回至上级页面的第二预设手势操作是手掌隔空触摸屏幕的操作为例,示出了图7所示实施例中的手势操作示意图。其中,图8A示出了手掌隔空触摸屏幕的操作中手部的姿态,所有手指伸出且并拢。图8B示出了手掌隔空触摸屏幕的操作与有屏设备交互的示意图。如图8B所示,手指伸出后,可以识别手掌位置并投影至在有屏设备显示屏上,作为手势操作的初始位置,还可以在初始位置处提供位置提示符,例如以光标或手型图标等进行位置提示。这时,可以判断手势操作的初始位置是否位于预设的对应于返回控制操作的操控区域内。若是,用户可以隔空点击屏幕完成浏览控制操作。若检测到图8C所示的手部动态轨迹,可以确定检测到的手势操作为第二预设手势操作。可以进一步检测用户手掌隔空点击屏幕的手势操作停留的时间,若超过预设的3秒的时间阈值,则可以生成返回主页面的返回控制指令,有屏设备可以根据该返回控制指令切换至主页面;若为超过预设的3秒的时间阈值,则可以生成返回上一级页面的返回控制指令,有屏设备可以根据该返回控制指令切换至当前页面的上一级页面。若手势操作的初始位置不位于预设的对应于返回控制操作的操控区域内,用户可以根据光标、手型图标的位置提示符移动手部使其投影位置移动至上述对应于返回控制操作的操控区域内,在手部移动过程中位置提示符随手部位置在有屏设备显示屏上的投影位置移动以向用户提供引导。在用户的手部位置的投影位置移动至对应于返回控制操作的操控区域内后,若检测到图8C所示的手部动态轨迹,可以确定检测到的手势操作为第二预设手势操作。进一步根据用户手掌点击操作的持续时间确定生成返回至上一级页面或返回至主页面的返回控制指令。
通过判断手部位置在显示屏上的投影位置是否位于预设的对应于返回控制操作的操控区域来进一步限定返回控制手势的操控范围,避免与针对其他区域的手势操控对象重叠。
可选地,上述预设的对应于返回控制操作的操控区域可以是显示屏上非图标区域,例如显示屏上左上角的区域。这样可以避免将图标区域内的手掌隔空触摸操作误识别为返回上级页面的控制操作。
可选地,上述指示返回至上级页面的第二预设手势操作还可以是以下任意一项:画抛物线、向左扇动手掌、向右扇动手掌、手指画圈、抓取后向后拉、掌心朝外悬停空中,等等。
进一步可选地,指示返回至上一级页面的第二预设手势操作与指示返回主页面的第二预设手势操作可以不相同,例如画抛物线、向左扇动手掌、向右扇动手掌的手势指示返回上一级页面,而不指示返回主页面;手指画圈、抓取后向后拉、掌心朝外悬停空中的手势操作指示返回主页面,而不指示返回上一级页面。
需要说明的是,本申请各实施例中,指示执行不同的浏览控制操作的各第一预设手势操作以及各第二预设手势操作可以互不相同,这样可以避免同一手势对应多个浏览控制操作时,***难以准确识别用户的操作意图,保证手势操控的可靠性。
在上述结合图2、图3、图5、图7描述的实施例的一些可选的实现方式中,有屏设备的手势控制方法的流程还可以包括:响应于检测到用于指示唤醒有屏设备的手势识别***的预设手势操作,唤醒有屏设备的手势识别***。即可以预先获取用于指示唤醒有屏设备的手势识别***的预设手势操作,例如拍掌操作,在手势识别***为未唤醒状态时,可以通过该用于指示唤醒有屏设备的手势识别***的预设手势操作先唤醒手势识别***,然后基于手势识别***检测手势操作是否为指示对有屏设备进行浏览控制的预设手势操作。在手势识别***较长时间未检测到手势操作时,可以进入休眠状态。再次唤醒后执行手势检测操作,能够节约***资源。
进一步参考图9,作为对上述各图所示方法的实现,本申请提供了一种有屏设备的手势控制装置的一个实施例,该装置实施例与图2、图3、图5和图7所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图9所示,本实施例的有屏设备的手势控制装置900包括检测单元901和生成单元902。其中,检测单元901被配置为检测对有屏设备进行控制的手势操作;生成单元902被配置为响应于检测到手势操作是指示对有屏设备进行浏览控制的预设手势操作,生成与预设手势操作对应的浏览控制指令。
在一些实施例中,上述生成单元902可以进一步被配置为:响应于检测到手势操作是指示点击有屏设备呈现的浏览对象的第一预设手势操作,生成与第一预设手势操作对应的点击指令。
在一些实施例中,上述生成单元902还可以被配置为:将手势操作对应的手部位置映射至有屏设备显示屏所显示的界面上,在映射得到的位置与预设的可点击对象的位置一致时,在映射得到的位置呈现点击提示标识。
在一些实施例中,上述生成单元902可以被配置为:响应于检测到手势操作是指示切换有屏设备呈现的浏览对象的第二预设手势操作,生成与第二预设手势操作对应的浏览对象切换指令。
在一些实施例中,上述第二预设手势操作包括以手腕为原点,沿预设方向旋转手掌的手掌扇动操作;上述生成单元902可以进一步被配置为按照如下方式生成与第二预设手势操作对应的浏览对象切换指令:生成呈现沿手掌扇动方向的下一页面的浏览对象的指令。
在一些实施例中,上述生成单元902可以进一步被配置为:响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,生成与第二预设手势操作对应的返回控制指令。
在一些实施例中,上述生成单元902可以进一步被配置为:响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,且第二手势操作的手势持续时间超过预设的时间阈值,生成返回至主页面的返回控制指令;响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,且第二手势操作的手势持续时间不超过预设的时间阈值,生成返回至当前浏览页面的上一级页面的返回控制指令。
在一些实施例中,上述生成单元902可以进一步被配置为:响应于检测到手势操作是指示返回至上级页面的第二预设手势操作,且手势操作对应的手部位置在有屏设备的显示屏上的投影位置在预设的对应于返回控制操作的操控区域内,生成与第二预设手势操作对应的返回控制指令。
在一些实施例中,上述装置900还可以包括:唤醒单元,被配置为响应于检测到用于指示唤醒有屏设备的手势识别***的预设手势操作,唤醒有屏设备的手势识别***。
应当理解,装置900中记载的诸单元与参考图2、图3、图5、图7描述的方法中的各个步骤相对应。由此,上文针对方法描述的操作和特征同样适用于装置900及其中包含的单元,在此不再赘述。
本申请上述实施例的有屏设备的手势控制装置900,通过检测对有屏设备进行控制的手势操作,响应于检测到手势操作是指示对有屏设备进行浏览控制的预设手势操作,生成与预设手势操作对应的浏览控制指令,不依赖于附加设备及多轮交互,实现了更灵活的有屏设备浏览控制。
本申请实施例还提供了一种电子设备,包括:一个或多个处理器;显示装置;存储装置,用于存储一个或多个程序,当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现上述实施例的有屏设备的手势控制方法。
下面参考图10,其示出了适于用来实现本申请实施例的电子设备的计算机***1000的结构示意图。图10示出的电子设备仅仅是一个示例,不应对本申请实施例的功能和使用范围带来任何限制。
如图10所示,计算机***1000包括中央处理单元(CPU)1001,其可以根据存储在只读存储器(ROM)1002中的程序或者从存储部分1008加载到随机访问存储器(RAM)1003中的程序而执行各种适当的动作和处理。在RAM 1003中,还存储有***1000操作所需的各种程序和数据。CPU 1001、ROM 1002以及RAM 1003通过总线1004彼此相连。输入/输出(I/O)接口1005也连接至总线1004。
以下部件连接至I/O接口1005:包括键盘、鼠标等的输入部分1006;包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分1007;包括硬盘等的存储部分1008;以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分1009。通信部分1009经由诸如因特网的网络执行通信处理。驱动器1010也根据需要连接至I/O接口1005。可拆卸介质1011,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器1010上,以便于从其上读出的计算机程序根据需要被安装入存储部分1008。
特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括承载在计算机可读介质上的计算机程序,该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分1009从网络上被下载和安装,和/或从可拆卸介质1011被安装。在该计算机程序被中央处理单元(CPU)1001执行时,执行本申请的方法中限定的上述功能。需要说明的是,本申请的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的***、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行***、装置或者器件使用或者与其结合使用。而在本申请中,计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行***、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、RF等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码,程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++,还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图,图示了按照本申请各种实施例的***、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的***来实现,或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括检测单元和生成单元。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定,例如,检测单元还可以被描述为“检测对有屏设备进行控制的手势操作的单元”。
作为另一方面,本申请还提供了一种计算机可读介质,该计算机可读介质可以是上述实施例中描述的装置中所包含的;也可以是单独存在,而未装配入该装置中。上述计算机可读介质承载有一个或者多个程序,当上述一个或者多个程序被该装置执行时,使得该装置:检测对有屏设备进行控制的手势操作;响应于检测到手势操作是指示对有屏设备进行浏览控制的预设手势操作,生成与预设手势操作对应的浏览控制指令。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离上述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (15)

1.一种有屏设备的手势控制方法,包括:
检测对有屏设备进行控制的手势操作;
响应于检测到所述手势操作是指示对所述有屏设备进行浏览控制的预设手势操作,生成与所述预设手势操作对应的浏览控制指令。
2.根据权利要求1所述的方法,其中,所述响应于检测到所述手势操作是指示对所述有屏设备进行浏览控制的预设手势操作,生成与所述预设手势操作对应的浏览控制指令,包括:
响应于检测到所述手势操作是指示点击所述有屏设备呈现的浏览对象的第一预设手势操作,生成与所述第一预设手势操作对应的点击指令。
3.根据权利要求2所述的方法,其中,所述响应于检测到所述手势操作是指示对所述有屏设备进行浏览控制的预设手势操作,生成与所述预设手势操作对应的浏览控制指令,还包括:
将所述手势操作对应的手部位置映射至所述有屏设备显示屏所显示的界面上,在映射得到的位置与预设的可点击对象的位置一致时,在所述映射得到的位置呈现点击提示标识。
4.根据权利要求1所述的方法,其中,所述响应于检测到所述手势操作是指示对所述有屏设备进行浏览控制的预设手势操作,生成与所述预设手势操作对应的浏览控制指令,包括:
响应于检测到所述手势操作是指示切换所述有屏设备呈现的浏览对象的第二预设手势操作,生成与所述第二预设手势操作对应的浏览对象切换指令。
5.根据权利要求4所述的方法,其中,所述第二预设手势操作包括以手腕为原点,沿预设方向旋转手掌的手掌扇动操作;
所述生成与所述第二预设手势操作对应的浏览对象切换指令,包括:
生成呈现沿手掌扇动方向的下一页面的浏览对象的指令。
6.根据权利要求4所述的方法,其中,所述响应于检测到所述手势操作是指示切换所述有屏设备呈现的浏览对象的第二预设手势操作,生成与所述第二预设手势操作对应的浏览对象切换指令,包括:
响应于检测到所述手势操作是指示返回至上级页面的第二预设手势操作,生成与所述第二预设手势操作对应的返回控制指令。
7.根据权利要求6所述的方法,其中,所述响应于检测到所述手势操作是指示返回至上级页面的第二预设手势操作,生成与所述第二预设手势操作对应的返回控制指令,包括:
响应于检测到所述手势操作是指示返回至上级页面的第二预设手势操作,且所述第二手势操作的手势持续时间超过预设的时间阈值,生成返回至主页面的返回控制指令;
响应于检测到所述手势操作是指示返回至上级页面的第二预设手势操作,且所述第二手势操作的手势持续时间不超过预设的时间阈值,生成返回至当前浏览页面的上一级页面的返回控制指令。
8.根据权利要求6所述的方法,其中,所述响应于检测到所述手势操作是指示返回至上级页面的第二预设手势操作,生成与所述第二预设手势操作对应的返回控制指令,包括:
响应于检测到所述手势操作是指示返回至上级页面的第二预设手势操作,且所述手势操作对应的手部位置在所述有屏设备的显示屏上的投影位置在预设的对应于返回控制操作的操控区域内,生成与所述第二预设手势操作对应的返回控制指令。
9.根据权利要求1-8任一项所述的方法,其中,所述方法还包括:
响应于检测到用于指示唤醒所述有屏设备的手势识别***的预设手势操作,唤醒所述有屏设备的手势识别***。
10.一种有屏设备的手势控制装置,包括:
检测单元,被配置为检测对有屏设备进行控制的手势操作;
生成单元,被配置为响应于检测到所述手势操作是指示对所述有屏设备进行浏览控制的预设手势操作,生成与所述预设手势操作对应的浏览控制指令。
11.根据权利要求10所述的装置,其中,所述生成单元进一步被配置为:
响应于检测到所述手势操作是指示点击所述有屏设备呈现的浏览对象的第一预设手势操作,生成与所述第一预设手势操作对应的点击指令。
12.根据权利要求11所述的装置,其中,所述生成单元还被配置为:
将所述手势操作对应的手部位置映射至所述有屏设备显示屏所显示的界面上,在映射得到的位置与预设的可点击对象的位置一致时,在所述映射得到的位置呈现点击提示标识。
13.根据权利要求10所述的装置,其中,所述生成单元被配置为:
响应于检测到所述手势操作是指示切换所述有屏设备呈现的浏览对象的第二预设手势操作,生成与所述第二预设手势操作对应的浏览对象切换指令。
14.一种电子设备,包括:
一个或多个处理器;
显示装置;
存储装置,用于存储一个或多个程序,
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如权利要求1-9中任一的方法。
15.一种计算机可读介质,其上存储有计算机程序,其中,程序被处理器执行时实现如权利要求1-9中任一的方法。
CN201811645734.XA 2018-12-29 2018-12-29 有屏设备的手势控制方法和装置 Active CN109753154B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811645734.XA CN109753154B (zh) 2018-12-29 2018-12-29 有屏设备的手势控制方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811645734.XA CN109753154B (zh) 2018-12-29 2018-12-29 有屏设备的手势控制方法和装置

Publications (2)

Publication Number Publication Date
CN109753154A true CN109753154A (zh) 2019-05-14
CN109753154B CN109753154B (zh) 2022-03-04

Family

ID=66405074

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811645734.XA Active CN109753154B (zh) 2018-12-29 2018-12-29 有屏设备的手势控制方法和装置

Country Status (1)

Country Link
CN (1) CN109753154B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110377216A (zh) * 2019-06-24 2019-10-25 云谷(固安)科技有限公司 电子设备及其控制方法
CN111857524A (zh) * 2019-04-24 2020-10-30 网易(杭州)网络有限公司 交互控制方法、装置、存储介质和处理器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339125A (zh) * 2010-07-23 2012-02-01 夏普株式会社 信息设备及其控制方法和***
CN105446603A (zh) * 2015-12-29 2016-03-30 北京金山安全软件有限公司 一种多标签页面切换方法、装置及电子设备
CN107908277A (zh) * 2017-09-30 2018-04-13 珠海格力电器股份有限公司 一种控制装置、设备以及控制方法
CN108536273A (zh) * 2017-03-01 2018-09-14 天津锋时互动科技有限公司深圳分公司 基于手势的人机菜单交互方法与***

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102339125A (zh) * 2010-07-23 2012-02-01 夏普株式会社 信息设备及其控制方法和***
CN105446603A (zh) * 2015-12-29 2016-03-30 北京金山安全软件有限公司 一种多标签页面切换方法、装置及电子设备
CN108536273A (zh) * 2017-03-01 2018-09-14 天津锋时互动科技有限公司深圳分公司 基于手势的人机菜单交互方法与***
CN107908277A (zh) * 2017-09-30 2018-04-13 珠海格力电器股份有限公司 一种控制装置、设备以及控制方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111857524A (zh) * 2019-04-24 2020-10-30 网易(杭州)网络有限公司 交互控制方法、装置、存储介质和处理器
CN111857524B (zh) * 2019-04-24 2022-03-22 网易(杭州)网络有限公司 交互控制方法、装置、存储介质和处理器
CN110377216A (zh) * 2019-06-24 2019-10-25 云谷(固安)科技有限公司 电子设备及其控制方法
CN110377216B (zh) * 2019-06-24 2023-07-18 云谷(固安)科技有限公司 电子设备及其控制方法

Also Published As

Publication number Publication date
CN109753154B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
US11740705B2 (en) Method and system for controlling a machine according to a characteristic of a control object
US11048333B2 (en) System and method for close-range movement tracking
CN103809733B (zh) 人机交互***和方法
US7519223B2 (en) Recognizing gestures and using gestures for interacting with software applications
US8499257B2 (en) Handles interactions for human—computer interface
US9910498B2 (en) System and method for close-range movement tracking
CN109725727A (zh) 有屏设备的手势控制方法和装置
WO2014113454A1 (en) Dynamic, free-space user interactions for machine control
CN109725724A (zh) 有屏设备的手势控制方法和装置
Yin et al. Toward natural interaction in the real world: Real-time gesture recognition
JP2004246578A (ja) 自己画像表示を用いたインタフェース方法、装置、およびプログラム
CN109725723A (zh) 手势控制方法和装置
Lenman et al. Computer vision based hand gesture interfaces for human-computer interaction
CN106796810A (zh) 在用户界面上从视频选择帧
CN109753154A (zh) 有屏设备的手势控制方法和装置
Sluÿters et al. Quantumleap, a framework for engineering gestural user interfaces based on the leap motion controller
Ueng et al. Vision based multi-user human computer interaction
CN109725722A (zh) 有屏设备的手势控制方法和装置
Feng et al. FM: Flexible mapping from one gesture to multiple semantics
Fan Practical ad hoc tangible interactions in augmented reality
Yadav et al. Gesture Recognition System for Human-Computer Interaction using Computer Vision
Padliya Gesture Recognition and Recommendations

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20210508

Address after: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Applicant after: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

Applicant after: Shanghai Xiaodu Technology Co.,Ltd.

Address before: 100085 Baidu Building, 10 Shangdi Tenth Street, Haidian District, Beijing

Applicant before: BEIJING BAIDU NETCOM SCIENCE AND TECHNOLOGY Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant