CN106843669A - 应用界面操作方法和装置 - Google Patents

应用界面操作方法和装置 Download PDF

Info

Publication number
CN106843669A
CN106843669A CN201611109113.0A CN201611109113A CN106843669A CN 106843669 A CN106843669 A CN 106843669A CN 201611109113 A CN201611109113 A CN 201611109113A CN 106843669 A CN106843669 A CN 106843669A
Authority
CN
China
Prior art keywords
application interface
hanging type
operating gesture
gesture information
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201611109113.0A
Other languages
English (en)
Inventor
翟近霄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Xiaodu Information Technology Co Ltd
Original Assignee
Beijing Xiaodu Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaodu Information Technology Co Ltd filed Critical Beijing Xiaodu Information Technology Co Ltd
Priority to CN201611109113.0A priority Critical patent/CN106843669A/zh
Publication of CN106843669A publication Critical patent/CN106843669A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明实施例提供一种应用界面操作方法和装置,该方法包括:获取当前应用界面的悬空式操作手势信息;生成与悬空式操作手势信息对应的控制指令;控制当前应用界面执行控制指令。本方案中,对现有应用界面操作方式进行扩展,针对每个应用界面设置相应的悬空式操作逻辑,以实现针对应用界面的悬空式操作,在一些场景下,为用户的操作提供了便利。

Description

应用界面操作方法和装置
技术领域
本发明涉及互联网技术领域,尤其涉及一种应用界面操作方法和装置。
背景技术
为便于用户的日常工作、生活,满足用户的多种需求,目前,用户在其诸如智能手机、平板电脑等用户终端设备中往往安装有各种各样的应用(APP)。
目前的绝大多数用户终端设备都支持触摸操作,即用户可以在触摸屏上进行各种触摸操作,以对屏幕上显示的应用界面、应用界面中的控件进行各种操作。
发明内容
目前对应用界面的操作方式是通过对触摸屏的触摸操作实现的。但是,在实际应用中,用户可能因为手上沾有污渍等原因而不方便直接触摸屏幕来对应用界面进行操作,因此,需要扩展目前的应用界面操作方式,以解决在一些场景下触摸式操作不能完成对应用界面的操作的问题。
有鉴于此,本发明实施例提供一种应用界面操作方法和装置,扩展应用界面的操作方式,使得用户可以通过悬空式操作完成对应用界面的操作。
本发明实施例提供一种应用界面操作方法,包括:
获取当前应用界面的悬空式操作手势信息;
生成与所述悬空式操作手势信息对应的控制指令;
控制所述当前应用界面执行所述控制指令。
可选地,所述生成与所述悬空式操作手势信息对应的控制指令,包括:
在所述当前应用界面中,确定与所述悬空式操作手势信息对应的待操作控件;
生成与所述待操作控件对应的控制指令;
所述控制所述当前应用界面执行所述控制指令,包括:
控制所述待操作控件执行所述控制指令。
可选地,所述确定与所述悬空式操作手势信息对应的待操作控件,包括:
根据所述悬空式操作手势信息对应的手势样式,确定与所述悬空式操作手势信息对应的待操作控件;
和/或,所述悬空式操作手势信息中包括操作位置,所述确定与所述悬空式操作手势信息对应的待操作控件,包括:
根据所述操作位置确定与所述悬空式操作手势信息对应的待操作控件。
可选地,所述根据所述操作位置确定与所述悬空式操作手势信息对应的待操作控件,包括:
获取所述当前应用界面中每个操作控件的位置信息;
识别所述每个操作控件在屏幕上的映射位置;
确定映射位置与所述操作位置匹配的操作控件为所述待操作控件。
可选地,所述方法还包括:
获取所述当前应用界面对应的至少一种有效操作手势信息;
所述获取针对当前应用界面的悬空式操作手势信息之后,还包括:
根据所述至少一种有效操作手势信息确定获取到的所述悬空式操作手势信息是否有效。
可选地,所述获取所述当前应用界面对应的至少一种有效操作手势信息,包括:
接收当前应用发送的所述至少一种有效操作手势信息,所述至少一种有效操作手势信息是所述当前应用根据所述当前应用界面的标识获取的。可选地,响应于当前应用界面的展示操作,触发该当前应用获取该至少一种有效操作手势信息。
本发明实施例提供一种应用界面操作装置,包括:
第一获取模块,用于获取当前应用界面的悬空式操作手势信息;
生成模块,用于生成与所述悬空式操作手势信息对应的控制指令;
控制模块,用于控制所述当前应用界面执行所述控制指令。
本发明实施例提供的应用界面操作方法和装置,对于某应用来说,当该应用被开启并展示到某个应用界面时,通过采集并识别针对当前应用界面的悬空式操作手势信息,生成与该悬空式操作手势信息对应的控制指令,以通过悬空式操作的方式控制当前应用界面执行该控制指令,完成相应的功能处理逻辑。本方案中,对现有应用界面操作方式进行扩展,针对每个应用界面设置相应的悬空式操作逻辑,以实现针对应用界面的悬空式操作,在一些场景下,为用户的操作提供了便利。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的应用界面操作方法实施例一的流程图;
图2为本发明实施例提供的应用界面操作方法实施例二的流程图;
图3为本发明实施例提供的应用界面操作装置实施例一的结构示意图;
图4为本发明实施例提供的应用界面操作装置实施例二的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义,“多种”一般包含至少两种,但是不排除包含至少一种的情况。
应当理解,本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
应当理解,尽管在本发明实施例中可能采用术语第一、第二、第三等来描述XXX,但这些XXX不应限于这些术语。这些术语仅用来将XXX彼此区分开。例如,在不脱离本发明实施例范围的情况下,第一XXX也可以被称为第二XXX,类似地,第二XXX也可以被称为第一XXX。
取决于语境,如在此所使用的词语“如果”、“若”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地,取决于语境,短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的商品或者***不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种商品或者***所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的商品或者***中还存在另外的相同要素。
图1为本发明实施例提供的应用界面操作方法实施例一的流程图,本实施例提供的该应用界面操作方法可以由一应用界面操作装置来执行,该应用界面操作装置可以实现为软件,或者实现为软件和硬件的组合,该应用界面操作装置可以集成设置在用户的终端设备中,比如智能手机、平板电脑等。如图1所示,该方法包括如下步骤:
步骤101、获取当前应用界面的悬空式操作手势信息。
步骤102、生成与悬空式操作手势信息对应的控制指令。
步骤103、控制当前应用界面执行控制指令。
值得说明的是,本实施例中,上述当前应用界面是当前被用户开启使用的某个应用的某个界面,该应用是一种广义的称法,包括终端设备中安装的各种APP,也包括诸如桌面等***级应用。
以桌面应用这一特殊的应用来说,当用户开机或者通过某按键触发显示桌面应用时,包含各种应用图标的界面可以视为本实施例中当前应用界面的一种。
以某个APP来说,用户点击该APP的图标进入该APP的首页时,该首页界面为本实施例中当前应用界面的一种。
实际应用中,不同的应用界面中往往包含一种或多种用户控制操作逻辑(或者称为控制操作类型),比如浏览、选择、切换等。本实施例中,用户可以根据实际操作需求以及当前显示的应用界面中可供执行的控制操作逻辑,采用悬空式的方式进行某种操作。比如,用户想要执行切换界面的操作——将显示的界面由第一应用界面切换显示为第二应用界面,此时,用户可以通过在相对终端设备一定距离一定角度的范围内执行比如从右向左的摆手动作以进行界面切换控制操作。
本实施例中提及的以悬空式的操作手势对当前应用界面执行控制操作,是相对于直接触摸当前应用界面进行控制来说的,是指以不接触终端的、手势控制方式对当前应用界面进行控制。
可以理解的是,上述一定距离一定角度的限制是出于如下两个原因:一方面,用户触发控制操作手势的前提是用户看到当前应用界面,从而基于自身的使用需求而做出针对当前应用界面的操作手势,此时当前应用界面在用户的可视范围内;另一方面原因,由于用户触发的控制操作是悬空式的操作手势,对于用户触发的该操作手势的检测往往是基于终端设备中集成设置的摄像头实现的。受限于终端设备的防止位置以及摄像头的拍摄角度,用户需要在一定的距离和角度范围内操作才能被拍摄采集到。
另外值得说明的是,本发明实施例提供的基于悬空式操作而实现的应用界面操作方法,是针对应用来说的,而为了支持该悬空式操作,应用中需要增加额外的处理逻辑,比如生成针对每个应用界面的操作事件以告知上述应用界面操作装置对应的应用界面中可以支持什么样的操作手势等等。但是,实际中,用户的终端设备中所安装的所有应用并不一定都支持悬空式操作,因此,可选地,对于支持悬空式操作的应用,当被触发时,可以主动向应用界面操作装置发送一个通知信息,以触发该应用界面操作装置触发控制摄像头采集用户的悬空式操作手势图像,进而通过对该图像进行手势识别,以识别出相应的悬空式操作手势信息。
可选地,结合用户的终端设备中摄像头的设置情况,可以采集至少一幅操作手势图像,进而应用界面操作装置可以通过对该至少一幅操作手势图像进行手势识别处理,获取相应的悬空式操作手势信息。实际应用中,为了保证识别结果的准确性,可以连续拍摄一定时间的视频图像,通过对视频图像进行图像帧切割、图像识别等图像处理手段来获得悬空式操作手势信息。
其中,当终端设备中安装有比如两个摄像头时,不同摄像头的拍摄角度往往不同,此时通过综合多个摄像头拍得的图像的识别结果,能够获得更加细致、准确的悬空式操作手势信息。
本实施例中,悬空式操作手势信息可以包括手势样式、运动轨迹、相对于终端屏幕的操作位置等一种或多种信息内容。其中,手势样式比如是捏合操作手势、左右滑动操作手势、上下滑动操作手势、单指点击操作手势,等等。
为了使得当前的应用能够响应用户的悬空式操作控制,应用界面操作装置需要在获取悬空式操作手势信息后,生成与该悬空式操作手势信息对应的控制指令,进而控制当前应用界面执行该控制指令,比如如果当前的悬空式操作手势信息对应的控制指令为界面切换指令,则执行该界面切换指令,切换显示当前应用界面的下一个应用界面。
实际应用中,可以预先针对每个应用界面建立并存储控制指令与悬空式操作手势信息之间的对应关系,基于该对应关系实现控制指令的确定和生成。具体地,在当前应用界面被显示时,当前应用可以向应用界面操作装置发送当前应用界面的标识,从而,应用界面操作装置根据该标识查询获得该当前应用界面所对应的控制指令与悬空式操作手势信息之间的对应关系,进而,在获取针对当前应用界面的悬空式操作手势信息后,基于该对应关系,生成对应的控制指令。
本实施例中,仅以一种简单的情形为例说明,其他更详细情形的说明将在后续实施例中说明。假设针对当前应用的当前应用界面来说,仅支持一种控制操作逻辑,比如界面切换操作,此时,可以仅识别手势图像获取包含手势样式的悬空式操作手势信息,如果该手势样式与预先设定的与切换操作对应的手势样式特征相匹配,则生成切换指令,控制当前应用执行该指令,进行相应界面的切换操作。
本实施例中,对于某应用来说,当该应用被开启并展示到某个应用界面时,通过采集并识别针对当前应用界面的悬空式操作手势信息,生成与该悬空式操作手势信息对应的控制指令,以通过悬空式操作的方式控制当前应用界面执行该控制指令,完成相应的功能处理逻辑。本方案中,对现有应用界面操作方式进行扩展,针对每个应用界面设置相应的悬空式操作逻辑,以实现针对应用界面的悬空式操作,在一些场景下,为用户的操作提供了便利。
前述实施例中仅以当前应用界面中仅支持一种控制操作逻辑,而且当前应用界面中执行该一种控制操作逻辑的控件唯一的情形进行了举例说明,但是实际上,很多应用界面中往往包含了多种控制操作逻辑,而且可能多种控件都可以执行同一种控制操作逻辑。
而值得说明的是,本实施例中,悬空式操作手势信息是与当前应用界面对应的,即是针对当前应用界面而触发的悬空式操作手势,而且,控制指令是与悬空式操作手势信息对应的,因此,当前应用界面、悬空式操作手势信息与控制指令具有对应性,这种对应性既要求用户触发的悬空式操作手势是当前应用界面支持的,也要求该悬空式操作手势对应于唯一的一种该当前应该界面能够执行的控制操作逻辑。
基于此,对应不同的应用界面,获取的悬空式操作手势信息中所需包含的具体信息内容可以不同。比如,如果当前应用界面仅支持一种控制操作逻辑,且在当前应用界面中仅一个控件执行该控制操作逻辑,那么只需要识别用户是否触发了与该控制操作逻辑对应的悬空式操作手势样式即可;如果当前应用界面仅支持几种不同的控制操作逻辑,且在当前应用界面中分别仅一个控件执行对应的一种控制操作逻辑,那么只需要识别采集到的手势图像中包含的是哪种手势样式即可;而如果当前应用界面支持一种或几种不同的控制操作逻辑,而且同一控制操作逻辑在当前应用界面中对应的控件不唯一,那么不仅需要识别采集到的手势图像中包含的是哪种手势样式,还需要识别该操作手势的操作位置等其他信息内容。
下面结合图2所示实施例对当前应用界面中包含多个控件,多种控制操作逻辑的情形进行说明。
图2为本发明实施例提供的应用界面操作方法实施例二的流程图,如图2所示,该方法包括如下步骤:
步骤201、获取当前应用界面对应的至少一种有效操作手势信息。
步骤202、获取当前应用界面的悬空式操作手势信息。
步骤203、若根据至少一种有效操作手势信息确定获取到的悬空式操作手势信息有效,则在当前应用界面中,确定与悬空式操作手势信息对应的待操作控件。
步骤204、生成与待操作控件对应的控制指令,控制待操作控件执行控制指令。
本实施例中,为了避免应用界面操作装置生成的控制指令由于与当前应用界面不匹配而不能被有效执行,在当前应用界面被展示时,应用界面操作装置可以通过获取该当前应用界面对应的有效操作手势信息,以作为对采集、识别获得的用户针对当前应用界面而触发的悬空式操作手势信息是否有效的判定依据,当判定用户触发的悬空式操作手势信息不属于当前应用界面对应的有效操作手势信息之一时,无需生成控制指令。
可选地,应用界面操作装置可以通过如下方式获取当前应用界面对应的至少一种有效操作手势信息:
当前应用响应于当前应用界面的展示操作,根据当前应用界面标识获取与之对应的至少一种有效操作手势信息,并将获得的至少一种有效操作手势信息发送至应用界面操作装置。
也就是说,应用中预先关联了每个应用界面与有效操作手势信息之间的对应关系,当某个应用界面被展示时,应用主动获取对应的有效操作手势信息,并主动告知给应用界面操作装置。
其中,每种有效操作手势信息中可以包括操作控件与手势样式间的对应关系,也可以简单地包括当前应用界面支持的所有手势样式。
因此,对于用户触发的悬空式操作手势信息是否有效的判定,可以根据用户触发的悬空式操作手势信息对应的手势样式是否属于有效操作手势样式之一而确定,手势样式是否相同或相似的识别是对手势图像进行特征比对来实现的,基于现有图像处理技术即可实现,本实施例中不赘述。
可选地,确定与悬空式操作手势信息对应的待操作控件,可以实现为:
根据悬空式操作手势信息对应的手势样式,确定与悬空式操作手势信息对应的待操作控件,和/或,悬空式操作手势信息中包括操作位置时,还可以根据该操作位置确定与悬空式操作手势信息对应的待操作控件。
在一种场景下,假设应用界面操作装置获得的有效操作手势信息中表明每种操作手势样式仅对应有一个操作控件,此时,只需要识别用户触发的悬空式操作手势信息中的操作手势样式是否与一种有效的操作手势样式匹配即可,从而,匹配到的有效操作手势样式对应的操作控件即为待操作控件。
但是,在另一种场景下,若当前应用界面中包含对应于同一操作控制逻辑的多个操作控件,比如多个选择按钮,当这多个选择按钮都可以被点击选择,即有多个选择按钮对应于点击手势样式时,当前用户触发的点击手势操作究竟是针对哪个选择按钮的,需要进行确定。
此时,即若应用界面操作装置获得的有效操作手势信息中表明某种操作手势样式对应有多个操作控件,则需要结合用户触发悬空式操作手势时相对于终端设备屏幕的操作位置进行待操作控件的确定。因此,此时用户触发的悬空式操作手势信息中不仅要包含对应的手势样式,还需要包括对应的操作位置。
具体地,根据悬空式操作手势信息中操作位置确定与该悬空式操作手势信息对应的待操作控件,可以实现为:
获取当前应用界面中每个操作控件的位置信息;
识别每个操作控件在屏幕上的映射位置;
确定映射位置与悬空式操作手势信息中操作位置匹配的操作控件为待操作控件。
可选地,在应用向应用界面操作装置上报针对当前应用界面的至少一种有效操作手势信息时,每种有效操作手势信息中可以包括手势样式与操作控件的对应关系,该对应关系中对操作控件的描述可以通过对该操作控件对应的位置信息的描述来实现,该位置信息可以是该操作控件对应的像素点坐标。从而,应用界面操作装置基于该至少一种有效操作手势信息获得每个操作控件的位置信息。
可以理解的是,用户触发的悬空式操作手势信息中包含的操作位置可以视为用户操作时手指向终端设备屏幕上的映射,该操作位置表征的是相对于终端设备屏幕的位置。为了便于确定用户触发的悬空式操作手势对应的操作位置与哪个操作控件对应,一种方式中,可以根据当前应用界面中每个操作控件的像素点坐标映射在屏幕上,获得每个操作控件在屏幕上的映射位置,比如某个操作控件映射到某个位置区域中。另一种方式中,也可以将用户对应的操作位置映射为相对于屏幕的像素点坐标,进而根据像素点匹配程度,确定与之对应的操作控件。
在确定出了用户操作所对应的待操作控件后,生成与待操作控件对应的控制指令,控制待操作控件执行控制指令,比如该待操作控件是可以被点击选择的控件,用户触发的悬空式操作手势信息中对应的手势样式为点击手势样式,则生成选择指令,执行该指令,待操作控件被置于选中状态,并且执行被选中后的控制逻辑,比如进入另一个应用界面。
本实施例中,应用界面操作装置基于从当前应用处获得的与当前应用界面对应的有效操作手势信息,能够对采集、识别获得的用户触发的悬空式操作手势信息是否有效进行判定,避免对无效操作的后续冗余处理;基于对用户触发的悬空式操作手势的操作位置的识别,能够准确确定出当前操作在当前应用界面中所针对的操作控件,以准确实现对操作控件的悬空式操作,使得悬空式操作能够更加适用于各种应用控制操作。
以下将详细描述本发明的一个或多个实施例的应用界面操作装置。这些应用界面操作装置可以被实现在终端设备的基础架构中。本领域技术人员可以理解,这些应用界面操作装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
图3为本发明实施例提供的应用界面操作装置实施例一的结构示意图,如图3所示,该应用界面操作装置包括:第一获取模块11、生成模块12、控制模块13。
第一获取模块11,用于获取当前应用界面的悬空式操作手势信息。
生成模块12,用于生成与所述悬空式操作手势信息对应的控制指令。
控制模块13,用于控制所述当前应用界面执行所述控制指令。
其中,所述第一获取模块11具体用于:
采集操作手势图像;
通过对所述操作手势图像进行手势识别处理,获取所述悬空式操作手势信息。
图3所示装置可以执行图1所示实施例的方法,本实施例未详细描述的部分,可参考对图1所示实施例的相关说明。该技术方案的执行过程和技术效果参见图1所示实施例中的描述,在此不再赘述。
图4为本发明实施例提供的应用界面操作装置实施例二的结构示意图,如图4所示,在图3所示实施例基础上,应用界面操作装置还包括:第二获取模块21、确定模块22。
第二获取模块21,用于获取所述当前应用界面对应的至少一种有效操作手势信息。
确定模块22,用于根据所述至少一种有效操作手势信息确定获取到的所述悬空式操作手势信息是否有效。
其中,所述第二获取模块21具体用于:
接收当前应用发送的所述至少一种有效操作手势信息,所述至少一种有效操作手势信息是所述当前应用根据所述当前应用界面的标识获取的。
具体地,所述生成模块12包括:确定单元121、生成单元122。
确定单元121,用于在所述当前应用界面中,确定与所述悬空式操作手势信息对应的待操作控件.
生成单元122,用于生成与所述待操作控件对应的控制指令。
所述控制模块13具体用于:控制所述待操作控件执行所述控制指令。
可选地,所述确定单元121用于:
根据所述悬空式操作手势信息对应的手势样式,确定与所述悬空式操作手势信息对应的待操作控件;
和/或,根据操作位置确定与所述悬空式操作手势信息对应的待操作控件,所述悬空式操作手势信息中包括所述操作位置。
具体地,所述确定单元121具体用于:
获取所述当前应用界面中每个操作控件的位置信息;
识别所述每个操作控件在屏幕上的映射位置;
确定映射位置与所述操作位置匹配的操作控件为所述待操作控件。
图4所示装置可以执行图2所示实施例的方法,本实施例未详细描述的部分,可参考对图2所示实施例的相关说明。该技术方案的执行过程和技术效果参见图2所示实施例中的描述,在此不再赘述。
以上描述了应用界面操作装置的内部功能和结构,实际中,该应用界面操作装置可实现为终端设备,包括:摄像头、显示屏、处理器;
所述显示屏,用于显示当前应用界面;
所述摄像头,用于采集当前应用界面的悬空式操作手势图像;
所述处理器,耦合到所述摄像头,用于识别所述图像,获取针对当前应用界面的悬空式操作手势信息,生成与所述悬空式操作手势信息对应的控制指令,控制所述当前应用界面执行所述控制指令。
所述显示屏,耦合到所述处理器,还用于在所述处理器控制下,显示执行所述控制指令后的应用界面。
可选地,所述处理器还用于执行上述图1、图2所示方法步骤中的全部或部分步骤。
以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以产品的形式体现出来,该计算机产品可以存储在计算机可读存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机装置(可以是个人计算机,服务器,或者网络装置等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (14)

1.一种应用界面操作方法,其特征在于,包括:
获取当前应用界面的悬空式操作手势信息;
生成与所述悬空式操作手势信息对应的控制指令;
控制所述当前应用界面执行所述控制指令。
2.根据权利要求1所述的方法,其特征在于,所述生成与所述悬空式操作手势信息对应的控制指令,包括:
在所述当前应用界面中,确定与所述悬空式操作手势信息对应的待操作控件;
生成与所述待操作控件对应的控制指令;
所述控制所述当前应用界面执行所述控制指令,包括:
控制所述待操作控件执行所述控制指令。
3.根据权利要求2所述的方法,其特征在于,所述确定与所述悬空式操作手势信息对应的待操作控件,包括:
根据所述悬空式操作手势信息对应的手势样式,确定与所述悬空式操作手势信息对应的待操作控件;
和/或,所述悬空式操作手势信息中包括操作位置,所述确定与所述悬空式操作手势信息对应的待操作控件,包括:
根据所述操作位置确定与所述悬空式操作手势信息对应的待操作控件。
4.根据权利要求3所述的方法,其特征在于,所述根据所述操作位置确定与所述悬空式操作手势信息对应的待操作控件,包括:
获取所述当前应用界面中每个操作控件的位置信息;
识别所述每个操作控件在屏幕上的映射位置;
确定映射位置与所述操作位置匹配的操作控件为所述待操作控件。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述方法还包括:
获取所述当前应用界面对应的至少一种有效操作手势信息;
所述获取当前应用界面的悬空式操作手势信息之后,还包括:
根据所述至少一种有效操作手势信息确定获取到的所述悬空式操作手势信息是否有效。
6.根据权利要求5所述的方法,其特征在于,所述获取所述当前应用界面对应的至少一种有效操作手势信息,包括:
接收当前应用发送的所述至少一种有效操作手势信息,所述至少一种有效操作手势信息是所述当前应用根据所述当前应用界面的标识获取的。
7.根据权利要求1至4中任一项所述的方法,其特征在于,所述获取针对当前应用界面的悬空式操作手势信息,包括:
采集操作手势图像;
通过对所述操作手势图像进行手势识别处理,获取所述悬空式操作手势信息。
8.一种应用界面操作装置,其特征在于,包括:
第一获取模块,用于获取当前应用界面的悬空式操作手势信息;
生成模块,用于生成与所述悬空式操作手势信息对应的控制指令;
控制模块,用于控制所述当前应用界面执行所述控制指令。
9.根据权利要求8所述的装置,其特征在于,所述生成模块包括:
确定单元,用于在所述当前应用界面中,确定与所述悬空式操作手势信息对应的待操作控件;
生成单元,用于生成与所述待操作控件对应的控制指令;
所述控制模块具体用于:控制所述待操作控件执行所述控制指令。
10.根据权利要求9所述的装置,其特征在于,所述确定单元用于:
根据所述悬空式操作手势信息对应的手势样式,确定与所述悬空式操作手势信息对应的待操作控件;
和/或,根据操作位置确定与所述悬空式操作手势信息对应的待操作控件,所述悬空式操作手势信息中包括所述操作位置。
11.根据权利要求10所述的装置,其特征在于,所述确定单元具体用于:
获取所述当前应用界面中每个操作控件的位置信息;
识别所述每个操作控件在屏幕上的映射位置;
确定映射位置与所述操作位置匹配的操作控件为所述待操作控件。
12.根据权利要求8至11中任一项所述的装置,其特征在于,还包括:
第二获取模块,用于获取所述当前应用界面对应的至少一种有效操作手势信息;
确定模块,用于根据所述至少一种有效操作手势信息确定获取到的所述悬空式操作手势信息是否有效。
13.根据权利要求12所述的装置,其特征在于,所述第二获取模块具体用于:
接收当前应用发送的所述至少一种有效操作手势信息,所述至少一种有效操作手势信息是所述当前应用根据所述当前应用界面的标识获取的。
14.根据权利要求8至11中任一项所述的装置,其特征在于,所述第一获取模块具体用于:
采集操作手势图像;
通过对所述操作手势图像进行手势识别处理,获取所述悬空式操作手势信息。
CN201611109113.0A 2016-12-06 2016-12-06 应用界面操作方法和装置 Pending CN106843669A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611109113.0A CN106843669A (zh) 2016-12-06 2016-12-06 应用界面操作方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611109113.0A CN106843669A (zh) 2016-12-06 2016-12-06 应用界面操作方法和装置

Publications (1)

Publication Number Publication Date
CN106843669A true CN106843669A (zh) 2017-06-13

Family

ID=59146235

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611109113.0A Pending CN106843669A (zh) 2016-12-06 2016-12-06 应用界面操作方法和装置

Country Status (1)

Country Link
CN (1) CN106843669A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107678613A (zh) * 2017-09-01 2018-02-09 珠海市魅族科技有限公司 一种显示控制方法及装置、终端和可读存储介质
CN107870722A (zh) * 2017-09-27 2018-04-03 努比亚技术有限公司 终端间的文件传输方法、移动终端及计算机可读存储介质
CN108932090A (zh) * 2018-05-29 2018-12-04 北京小米移动软件有限公司 终端控制方法、装置和存储介质
CN108958844A (zh) * 2018-07-13 2018-12-07 京东方科技集团股份有限公司 一种应用程序的控制方法及终端
CN109358909A (zh) * 2018-08-28 2019-02-19 努比亚技术有限公司 显示页面控制方法、终端及计算机可读存储介质
CN110045819A (zh) * 2019-03-01 2019-07-23 华为技术有限公司 一种手势处理方法及设备
CN110557346A (zh) * 2018-06-01 2019-12-10 弘真科技股份有限公司 一种无线影音传输***及方法
CN111506245A (zh) * 2020-04-27 2020-08-07 北京小米松果电子有限公司 终端操控方法及装置
CN112154402A (zh) * 2019-08-29 2020-12-29 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制***
CN112825013A (zh) * 2019-11-20 2021-05-21 百度在线网络技术(北京)有限公司 终端设备的控制方法和装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120256831A1 (en) * 2011-04-07 2012-10-11 Seiko Epson Corporation Cursor display device and cursor display method
CN103838486A (zh) * 2014-03-21 2014-06-04 深圳市金立通信设备有限公司 一种终端显示页面的操作方法及终端
CN104216642A (zh) * 2014-08-21 2014-12-17 深圳市金立通信设备有限公司 一种终端控制方法
CN104656903A (zh) * 2015-03-04 2015-05-27 联想(北京)有限公司 一种显示图像处理方法和电子设备
CN105630364A (zh) * 2014-10-29 2016-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN106126064A (zh) * 2016-06-24 2016-11-16 乐视控股(北京)有限公司 一种信息处理方法及设备

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120256831A1 (en) * 2011-04-07 2012-10-11 Seiko Epson Corporation Cursor display device and cursor display method
CN103838486A (zh) * 2014-03-21 2014-06-04 深圳市金立通信设备有限公司 一种终端显示页面的操作方法及终端
CN104216642A (zh) * 2014-08-21 2014-12-17 深圳市金立通信设备有限公司 一种终端控制方法
CN105630364A (zh) * 2014-10-29 2016-06-01 联想(北京)有限公司 一种信息处理方法及电子设备
CN104656903A (zh) * 2015-03-04 2015-05-27 联想(北京)有限公司 一种显示图像处理方法和电子设备
CN106126064A (zh) * 2016-06-24 2016-11-16 乐视控股(北京)有限公司 一种信息处理方法及设备

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107678613A (zh) * 2017-09-01 2018-02-09 珠海市魅族科技有限公司 一种显示控制方法及装置、终端和可读存储介质
CN107870722A (zh) * 2017-09-27 2018-04-03 努比亚技术有限公司 终端间的文件传输方法、移动终端及计算机可读存储介质
CN108932090A (zh) * 2018-05-29 2018-12-04 北京小米移动软件有限公司 终端控制方法、装置和存储介质
CN110557346A (zh) * 2018-06-01 2019-12-10 弘真科技股份有限公司 一种无线影音传输***及方法
CN108958844A (zh) * 2018-07-13 2018-12-07 京东方科技集团股份有限公司 一种应用程序的控制方法及终端
CN108958844B (zh) * 2018-07-13 2021-09-03 京东方科技集团股份有限公司 一种应用程序的控制方法及终端
CN109358909A (zh) * 2018-08-28 2019-02-19 努比亚技术有限公司 显示页面控制方法、终端及计算机可读存储介质
CN110045819A (zh) * 2019-03-01 2019-07-23 华为技术有限公司 一种手势处理方法及设备
CN110045819B (zh) * 2019-03-01 2021-07-09 华为技术有限公司 一种手势处理方法及设备
CN112154402A (zh) * 2019-08-29 2020-12-29 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制***
WO2021035646A1 (zh) * 2019-08-29 2021-03-04 深圳市大疆创新科技有限公司 可穿戴设备及其控制方法、识别手势的方法和控制***
US11782514B2 (en) 2019-08-29 2023-10-10 SZ DJI Technology Co., Ltd. Wearable device and control method thereof, gesture recognition method, and control system
CN112825013A (zh) * 2019-11-20 2021-05-21 百度在线网络技术(北京)有限公司 终端设备的控制方法和装置
CN111506245A (zh) * 2020-04-27 2020-08-07 北京小米松果电子有限公司 终端操控方法及装置

Similar Documents

Publication Publication Date Title
CN106843669A (zh) 应用界面操作方法和装置
KR101292467B1 (ko) 손의 움직임에 지정된 제어 매개변수를 통해 사용자 인터페이스 상의 디스플레이된 이미지를 변경시키기 위한 시스템 및 방법
US7849421B2 (en) Virtual mouse driving apparatus and method using two-handed gestures
CN105940365B (zh) 一种通知信息处理方法、装置和终端
CN1126021C (zh) 在触摸式显示屏上移动对象的设备与方法
EP2659336B1 (en) User interface, apparatus and method for gesture recognition
CN103197885B (zh) 移动终端的操控方法及其移动终端
CN106415472B (zh) 一种手势控制方法、装置、终端设备和存储介质
CN108616712B (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
US20140132515A1 (en) System and method for inputting user commands to a processor
CN112099707A (zh) 显示方法、装置和电子设备
US20210081029A1 (en) Gesture control systems
CN107797722A (zh) 触控屏图标选择方法及装置
CN105786245A (zh) 一种触摸屏操作控制方法和装置
WO2020220154A1 (zh) 屏幕显示切换方法、显示设备、可移动平台
CN111857136A (zh) 一种目标地图的处理方法和装置
CN104020989B (zh) 基于远程应用的控制方法和***
CN105824401A (zh) 一种移动终端的控制方法及其移动终端
EP4155891A1 (en) Device control method and apparatus, and storage medium and electronic device
CN113721808A (zh) 一种控制方法及装置
CN105912158A (zh) 一种移动终端的触屏拍照方法、装置及移动终端
WO2023169499A1 (zh) 触摸屏的单手控制方法、控制装置、电子设备和存储介质
CN114995713B (zh) 显示控制方法、装置、电子设备和可读存储介质
CN109739422B (zh) 一种窗口控制方法、装置及设备
CN109543384A (zh) 应用启动方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 100085 Beijing, Haidian District on the road to the information on the ground floor of the 1 to the 3 floor of the 2 floor, room 11, 202

Applicant after: Beijing Xingxuan Technology Co.,Ltd.

Address before: 100085 Beijing, Haidian District on the road to the information on the ground floor of the 1 to the 3 floor of the 2 floor, room 11, 202

Applicant before: Beijing Xiaodu Information Technology Co.,Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20170613

RJ01 Rejection of invention patent application after publication